- 博客(26)
- 收藏
- 关注
原创 deepspeed训练模型提示:cpu_adam.so: cannot open shared object file: No such file or directory
我们只需要在安装deepspeed时设置DS_BUILD_CPU_ADAM=1即可。因此,我们卸载并重新安装deepspeed。,可以自己alias一下或者建立符号链接到PATH目录中。然后就会自动编译出cpu_adam.so文件。至此,本人问题解决。
2024-07-31 17:11:48
878
原创 make: *** No rule to make target `install‘. Stop.
在./configure --prefix=xxx 后面加上--disable-fortran 运行后再make就可以了。
2024-06-03 17:57:10
689
原创 Faiss 简介
最近在做知识库问答的时候看到了Faiss,查询了一些资料了解其原理,下面做简单记录,方便以后查阅。(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前较成熟的近似近邻搜索库。Faiss整体流程图如下所示:图中,Faiss主要包含两个步骤:Faiss训练和Faiss查询。
2023-05-30 16:47:52
1131
原创 大模型微调技术(Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA)
大模型微调技术(Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA)
2023-05-19 17:30:34
13367
3
原创 no module named xxx 那些直接pip install xxx安装不了的包
no module named xxx 那些直接pip install xxx安装不了的包
2022-11-24 12:35:55
771
原创 cannot re-initialize CUDA in forked subprocess.To use CUDA with multiprocessing,you must use the ‘sp
cannot re-initialize CUDA in forked subprocess.To use CUDA with multiprocessing,you must use the 'spawn' start method.
2022-10-17 16:24:07
3144
原创 情感对话数据集介绍
数据集一、Dailydialogue该数据集是从英语学习者相关的网站上爬取的对话数据集,主题相对集中,语法相对规范。总共有一万多个对对话,每个对话大概8轮。数据集众包含的文件有:1)dialogues_text.txt:包含所有的一万多个对话,每行代表一对对话,对话之间用_eou_隔开,对话结尾也有一个_eou_。2)dialogues_topic.txt:每行对应于一对对话所包含的主题,用数字1——10表示,其中1代表日常生活,2代表学校生活,3代表文化和教育,4代表态度和情感,5
2020-10-14 20:23:02
6417
原创 int类型数据转为 torch.cuda.FloatTensor类型数据
数据类型简介:数据类型包括Python数据类型、Numpy数据类型和Pytorch中的tensor,Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型。解决方法:int是python的数据类型,torch.cuda.FloatTensor是Pytorch的GPU数据类型。转换方式为:python数据类型->Numpy数据类型->Pytorch的cup tensor->Pytorch的gpu tensor例如:a为基本的int类型数据.
2020-09-18 09:12:59
9342
原创 PyCharm中的from...import报错no model named xxx解决
问题描述:使用pycharm时,自己定义的类中的函数在其它类内调用时报错no model named xxx,程序开头已经加上from xx import xxx。解决办法:在pycharm左侧project栏内的导入文件的上级目录上,右键找到mark Directory as,选择source root。...
2020-09-16 19:58:42
1749
5
原创 让程序自动在后台运行的nohup用法
通过nohup,可以把程序挂在服务器上运行,你退出服务器时程序也不会中断,功能和tmux一样。用法:nohup python -u myscript.py params > nohup.out 2>&1 & 其中muscript.py是你要运行的程序名称,params为所需要的参数。运行完该指令,程序就会在服务器上运行了。程序运行结果存放在nohup.out里面,可以发现存放myscript.py的文件夹下多了一个nohup.out文件。tail -f no...
2020-09-16 19:47:03
869
原创 ctrl+z不会杀死服务器上的程序
我们在服务器上运行程序时,如果没有通过tmux和nohup把程序挂起,此时我们通过ctrl+z或者直接退出Xshell的话,感觉上程序已经停止运行了,实际上程序还在服务器上运行,只是我们看不到了。看不到的程序会一直在占着内存,直到程序运行完毕才释放内存,当你再在服务器上运行程序时,可能就会报RuntimeError: CUDA error: out of memory。此时,我们应该怎么办呢?调小batch_size,可能会有用,也有可能还会报上面的错误。更好的方法是kill掉运行的程序,通过命
2020-09-14 10:30:56
895
原创 tmux在linux下无root权限安装及基本使用指令
我们在服务器上运行程序时,如果断网或者关闭窗口,运行的程序就会中断,这样很可能会浪费我们大量的时间。tmux的作用是可以让程序在服务器上自己运行,即使我们电脑端断网或者关闭窗口都不会造成服务器上程序的中止。tmux的离线安装:由于本人在服务器上没有root权限,所以只能选择离线安装。首先需要下载两个压缩包:tmux和libevent。百度网盘下载地址:链接:https://pan.baidu.com/s/1P1EOIs7ig5lYYTwWxY7viA ...
2020-09-11 17:20:45
690
4
原创 Spacy Can‘t find model ‘en‘. It doesn‘t seem to be a shortcut link,
处理Ubuntu数据集的时候,报这个错误Can't find model 'en'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory。 出现该错误的原因是没有en这个包,于是尝试网上的解决方法: (1)输入python -m spacy download en 尝试后报connection error,不行。 (2)有人说查看cond...
2020-09-10 17:27:41
584
原创 “A Hierarchical Latent Structure for Variational Conversation Modeling“ (NAACL 2018 Oral) 程序复现经历
2019年年底的时候,有一个idea,想在一篇论文的基础上改一下,写一篇文章,于是就找了那篇论文的代码,开始了调试工作。代码地址GitHub - ctr4si/A-Hierarchical-Latent-Structure-for-Variational-Conversation-Modeling: PyTorch Implementation of "A Hierarchical Latent Structure for Variational Conversation Modeling" (NA...
2020-09-10 14:50:01
354
4
原创 Pytorch调试程序遇到问题汇总
1、问题:urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]解决方法:在程序中加入下面两条代码import sslssl._create_default_https_context = ssl._create_unverified_context2、问题:UnicodeDecodeError: ...
2020-01-10 10:09:22
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人