- 博客(34)
- 收藏
- 关注
RSS订阅原创 数据存储格式——Arrow
Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层，来加快大数据分析项目的运行速度。
2023-11-18 16:28:14
1109
原创 数据存储格式-pkl
使用DataFrame的to_pickle就可以生成pickle文件，因此如果需要存储其他类型的数据将其转化为DataFrame即可存取，例如将dict类型数据保存在.pkl文件中。保存网络的状态信息：torch.save(net.state_dict(), ‘net_params.pkl’)pkl文件是python里面保存文件的一种格式，如果直接打开会显示一堆序列化的东西（二进制文件）。保存整个网络：torch.save(net, ‘net.pkl’)常用于保存神经网络训练的模型或者各种需要存储的数据。
2023-11-18 16:22:54
398
原创 数据存储格式——json
JSON，全称为JavaScript Object Notation，也就是JavaScript对象标记，构造简洁但是结构化程度非常高，采用对象和数组的组合来表示数据，是一种轻量级的数据交换格式，和XML有点类似，如果对数据结构有要求的话，可根据需求考虑此种方式。原文链接：https://blog.csdn.net/qq_44000141/article/details/121195542。indent代表缩进字符个数，ensure_ascii=False规定文件输出的编码，这样就可以输出中文。
2023-11-18 16:01:06
183
原创 Seurat、anndata/h5ad、LOOM、SingleCellExperiment 格式互相转换
单细胞终极笔记之——Seurat、anndata/h5ad、LOOM、SingleCellExperiment 格式互相转换 - 知乎 (zhihu.com)当你看中了Scanpy的绘图风格，手里却只有Seurat对象... - 知乎 (zhihu.com)Seurat4.0系列教程20：单细胞对象的格式转换-腾讯云开发者社区-腾讯云 (tencent.com)
2023-11-18 15:56:50
422
原创 数据存储格式——LOOM
一个loom包含6各部分，一个数据集（matrix），以及5个组layersrow_attrscol_attrsrow_graphs, andcol_graphs。
2023-11-18 15:54:48
782
原创 数据存储格式——h5
h5文件简介 - 努力奋斗的阿贝拉 - 博客园 (cnblogs.com)h5文件是层次格式的第5代版本,用于存储科学数据的一种文件格式和库文件,由美国超级计算中心与应用中心研发的文件格式,用以存储和组织大规模数据.H5将文件结构简化成两个主要的对象类型:1 数据集dataset,就是同一类型数据的多维数组2 组group,是一种容器结构,可以包含数据集和其他组,若一个文件中存放了不同种类的数据集,这些数据集的管理就用到了group直观的理解,可以参考我们的文件系统,不同的文件存放在不同的目录下:目录就是h
2023-11-18 15:38:27
1846
原创 数据存储格式——SingleCellExperiment
Bioconductor软件包SingleCellExperiment提供了SingleCellExperiment类以供使用。链接：https://www.jianshu.com/p/7dedf284ca54。
2023-11-18 15:25:51
204
原创 数据存储格式——Anndata
AnnData 是用于存储数据的对象，一般作为 scanpy 的数据存储格式。使用前事先按照scanpy库anndata 是一个 Python 软件包，用于处理内存和磁盘中的注释数据矩阵，介于 pandas 和 xarray 之间。anndata 提供了大量高效的计算功能，包括 sparse data support, lazy operations, and a PyTorch interface.
2023-11-18 14:38:31
608
原创 在linux中关于R包devtools的安装
可以看到，常规的安装方法行不通，这里可以看到补充包还需要安装好几个，但是其他包都是依赖最关键的gert这个包，所以我们先安装一下gert包，来看看到底是出现了什么问题。方法1：最后用conda直接安装，退出R，然后输入代码。方法2：也可以通过conda安装缺失的依赖包。#显示安装成功然后加载这个包。#安装"gert"包。#当然，还是失败了，
2023-11-07 15:41:21
760
原创 screen配置后台运行
screen命令可以让我们开启大量的窗口，并灵活控制每个窗口的开启关闭、前台后台状态。那么接下来，我们使用screen命令将Jupyter服务放置在后台运行，这样的话，及时我们本地的电脑关闭了或者断开了与服务器的连接，我们搭建的Jupyter服务依然会正常运行。$ screen -r # 其后可以通过指定窗口名打开特定窗口，默认打开上一个使用的窗口。先 安装 conda install screen。
2023-11-07 14:01:59
575
原创 Linux删除文件失败 rm: cannot remove xxx. Device or resource busy
在终端执行 lsof +D 再加上无法删除文件的目录，把显示的process都kill掉，然后再rm就可以了。然后kill掉那个进程。
2023-11-06 19:40:01
1506
原创 Linux服务器上home 目录的jupyter lab打开其他路径的目录文件
先打开jupyter lab所在的虚拟环境。jupyter lab【你想要的文件目录】我原本打开jupyter lab是这样的。打开jupyter lab即可。然后cd [文件夹路径]
2023-11-04 16:49:15
182
原创 jupyter lab nohup
意思标准输出重定向到文件test.txt中，【2>&1】意思是将标准错误输出重定向到标准输出，因为标准错误输出是没有缓冲区的 而标准输出有，并且如果实时输出到文件中要【flush】输出缓冲区，否则未达到缓冲区大小时是不会输出到文件的。nohup 命令，在默认情况下（非重定向时），会输出一个名叫 nohup.out 的文件到当前目录下，如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。在想要运行在后台中的 nohup 命令的尾部，添加 &，就不会报错了。
2023-11-04 14:50:22
154
1
原创 远程linux服务器jupyter lab和pytorch
3.将虚拟环境加入到ipykernel。4.再启动 jupyter lab。2.安装ipykernel。
2023-11-04 14:44:46
80
1
原创 远程服务器linux安装pytorch并放入jupyter lab 内核
找到自己对应的版本，然后直接在官网上找到。我在对应的环境里用这个命令，下载也蛮快的。安装pytorch，看准版本。
2023-11-04 14:15:41
84
1
原创 远程Linux服务器安装jupyter lab和pytorch
然后i 编辑把前面的#都取消，也可以直接把这段复制到开头或者结尾，esc退出编辑进入命令。之后在服务器启动jupyter lab，会出现网络链接，其中显示端口，我用tabby，链接，转发网络链接的四个数字就可。每个密码的密钥不同，需要把密钥换成⾃⼰⽣成的，把这段话复制下来。修改config，找到上面的config路径，vim 进入，进⼊ipython，ctrl+D可以出来回到虚拟环境。我是下的miniconda3,4.7.12版本。这个会出现一个文件路径，可以先剪切记下。然后输入ipython，
2023-11-04 13:58:37
141
1
原创 linux服务器环境配置miniconda
在清华镜像网站找到自己要下载的conda，然后可以在网页下载，或者自己下载上传。安装的时候改完环境变量，这个时候相当于重启一下？如果要自己手动添加环境变量，可以修改。文件, 在该文件最后添加需要执行的命令即可。然后创建虚拟环境，不要在base上安装包，创建新的环境。在服务器自己的文件夹新建个miniconda3。中途就是需要enter就enter，其他yes。如果出现-u报错，需要再重新在后面加个-u。：安装的时候询问是否添加环境变量，选择。如果需要改变环境再注意。然后进入自己的文件夹。
2023-10-31 20:58:20
191
1
原创 【大模型学习3——Transformer and Pretrain Language models】
注意力分数e^{1}注意力机制的变体，向量相乘中间权重矩阵把两个向量通过激活函数变成一个表里注意力解决信息瓶颈问题，缓解了梯度消失，增强可解释性。
2023-10-24 15:39:26
50
原创 大模型学习——【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战（一）
官方网站：https://www.openbmb.org启智社区：https://git.openi.org.cn/OpenBMB。
2023-10-14 11:04:51
677
1
原创 机器学习——西瓜书（DAY2）
将数据集D划分为k个子集同样存在多种划分方式，为减小因样本划分不同而引入的差别，k折交叉验证需要随机使用不同的划分重复P次，最终的评估结果是这p次k折交叉验证结果的均值。ROC曲线的纵轴是”真正例率“（True positive rate，简称TPR），横轴是”假正例率“（False Positive Rate，简称FPR)此外，自助法能从初始数据集中产生多个不同的训练集，对集成学习方法有很大的好处。分类过程，对测试样本进行排序，”最可能“是正例的排在最前面，”最不可能“是正例的排在最后面。
2023-07-25 23:14:26
66
原创 蓝桥杯备赛（二）python内置函数
python内置函数1、进制转换10进制数s:a = bin(s) //十进制转2进制b = oct(s) //十进制转8进制c = hex(s) //十进制转16进制s:转换的字符串r:要转换的进制位数2,6,18int(s,r)要想提取就s[2:]2、字母大小写转换upper()：所有字母大写lower()：所有字母小写capitalize()：首字母大写，其他字母小写title()：每个单词首字母大写，其他小写a = 'www.BAIDU.com.123'
2022-03-21 11:09:11
386
原创 蓝桥杯备赛（1）输入输出
输入# 整型输入n = int(input())# 浮点输入k = float(input())# 输入三个数，例如：1 2 3a,b,c = map(int,input().split())# 输入一串数字，例如：1 2 3 4 s = [int(i) for i in input().split()]s=list(map(int,input().split()))#多行输入#已知n行for i in range(n): s=input()#不知行数whil
2022-03-15 12:20:42
367
原创 美国数学建模
五、制图（一）数据制图◆ MATLAB制图画图速查表：https://zhuanlan.zhihu.com/p/112229373说明：知乎大佬出品，教科书级别，好用。◆ MATLAB gramm画图工具箱：https://github.com/piermorel/gramm说明：R语言风格，MATLAB制图美化。◆ Python Science Plots画图包：https://github.com/garrettj403/SciencePlots说明：提供IEEE等风格，Python
2022-01-25 21:35:18
2053
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人