weixin_39663060的博客

原创 make: *** No rule to make target `install‘. Stop.

在./configure --prefix=xxx 后面加上--disable-fortran 运行后再make就可以了。

原创 Faiss 简介

最近在做知识库问答的时候看到了Faiss，查询了一些资料了解其原理，下面做简单记录，方便以后查阅。(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前较成熟的近似近邻搜索库。Faiss整体流程图如下所示：图中，Faiss主要包含两个步骤：Faiss训练和Faiss查询。

原创 大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）

原创 apex 安装 避坑指南

apex 安装 避坑指南

原创 huggingface transformers安装及使用教程

huggingface transformers安装及使用教程

原创 服务器后台添加日志（python）

服务器后台添加日志（python）

原创 no module named xxx 那些直接pip install xxx安装不了的包

no module named xxx 那些直接pip install xxx安装不了的包

原创 python自定义包在linux上导入时找不到

python自定义包在linux上导入时找不到

原创 python 读取mysql、sql server中数据

python 读取mysql、sql server中数据

原创 python 读取文件下的文件

python 读取文件下的文件

原创 cannot re-initialize CUDA in forked subprocess.To use CUDA with multiprocessing,you must use the ‘sp

cannot re-initialize CUDA in forked subprocess.To use CUDA with multiprocessing,you must use the 'spawn' start method.

原创 python函数小记

python函数小记

原创 Linux常用命令笔记

Linux常用指令

原创 GAN使用填坑过程

GAN使用填坑过程

原创 情感对话数据集介绍

数据集一、Dailydialogue该数据集是从英语学习者相关的网站上爬取的对话数据集，主题相对集中，语法相对规范。总共有一万多个对对话，每个对话大概8轮。数据集众包含的文件有：1）dialogues_text.txt:包含所有的一万多个对话，每行代表一对对话，对话之间用_eou_隔开，对话结尾也有一个_eou_。2）dialogues_topic.txt:每行对应于一对对话所包含的主题，用数字1——10表示，其中1代表日常生活，2代表学校生活，3代表文化和教育，4代表态度和情感，5

原创 int类型数据转为 torch.cuda.FloatTensor类型数据

数据类型简介：数据类型包括Python数据类型、Numpy数据类型和Pytorch中的tensor，Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型。解决方法：int是python的数据类型，torch.cuda.FloatTensor是Pytorch的GPU数据类型。转换方式为：python数据类型->Numpy数据类型->Pytorch的cup tensor->Pytorch的gpu tensor例如：a为基本的int类型数据.

原创 PyCharm中的from...import报错no model named xxx解决

问题描述：使用pycharm时，自己定义的类中的函数在其它类内调用时报错no model named xxx，程序开头已经加上from xx import xxx。解决办法：在pycharm左侧project栏内的导入文件的上级目录上，右键找到mark Directory as，选择source root。...

原创 让程序自动在后台运行的nohup用法

通过nohup，可以把程序挂在服务器上运行，你退出服务器时程序也不会中断，功能和tmux一样。用法：nohup python -u myscript.py params > nohup.out 2>&1 & 其中muscript.py是你要运行的程序名称，params为所需要的参数。运行完该指令，程序就会在服务器上运行了。程序运行结果存放在nohup.out里面，可以发现存放myscript.py的文件夹下多了一个nohup.out文件。tail -f no...

原创 ctrl+z不会杀死服务器上的程序

我们在服务器上运行程序时，如果没有通过tmux和nohup把程序挂起，此时我们通过ctrl+z或者直接退出Xshell的话，感觉上程序已经停止运行了，实际上程序还在服务器上运行，只是我们看不到了。看不到的程序会一直在占着内存，直到程序运行完毕才释放内存，当你再在服务器上运行程序时，可能就会报RuntimeError: CUDA error: out of memory。此时，我们应该怎么办呢？调小batch_size，可能会有用，也有可能还会报上面的错误。更好的方法是kill掉运行的程序，通过命

原创 tmux在linux下无root权限安装及基本使用指令

我们在服务器上运行程序时，如果断网或者关闭窗口，运行的程序就会中断，这样很可能会浪费我们大量的时间。tmux的作用是可以让程序在服务器上自己运行，即使我们电脑端断网或者关闭窗口都不会造成服务器上程序的中止。tmux的离线安装：由于本人在服务器上没有root权限，所以只能选择离线安装。首先需要下载两个压缩包：tmux和libevent。百度网盘下载地址：链接：https://pan.baidu.com/s/1P1EOIs7ig5lYYTwWxY7viA ...

原创 Spacy Can‘t find model ‘en‘. It doesn‘t seem to be a shortcut link,

处理Ubuntu数据集的时候，报这个错误Can't find model 'en'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory。 出现该错误的原因是没有en这个包，于是尝试网上的解决方法： （1）输入python -m spacy download en 尝试后报connection error，不行。 （2）有人说查看cond...

原创 “A Hierarchical Latent Structure for Variational Conversation Modeling“ (NAACL 2018 Oral) 程序复现经历

2019年年底的时候，有一个idea，想在一篇论文的基础上改一下，写一篇文章，于是就找了那篇论文的代码，开始了调试工作。代码地址GitHub - ctr4si/A-Hierarchical-Latent-Structure-for-Variational-Conversation-Modeling: PyTorch Implementation of "A Hierarchical Latent Structure for Variational Conversation Modeling" (NA...

原创 Pytorch调试程序遇到问题汇总

1、问题：urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]解决方法：在程序中加入下面两条代码import sslssl._create_default_https_context = ssl._create_unverified_context2、问题：UnicodeDecodeError: ...

原创 正则化方法汇总

原创 神经网络优化方法汇总