Wang laiqi's blog

在国产化大模型适配的时，遇到的环境问题。

在复制虚拟环境后，执行clean操作经常报以上错误。

【代码】bash: /usr/bin/mv: Argument list too long。

step2:左下角选择管理—设置—输入"fileheader"—点击"在setting.json中编辑"step1:安装插件KoroFileHeader。step3:添加下面的代码到json文件中。

【代码】How to resolve “RuntimeError: CUDA out of memory”?

当对一个目录里面的文件进行压缩(tar)时，而这个文件数量超过三万个，就会遇到标题中的问题。

docker 容器的基本操作

基于Docker安装Tensorrt的方法介绍

清除linux上的buff/cache

visual studio code 连接远程 linux 服务器，不用每次都输入密码

the nlp domain machine translation

translation result

AttributeError: 'list' object has no attribute 'cpu'

CPU 不支持半精度计算，重新安装成GPU版本的pytorch 就可以查看安装的pytorch是否能使用CUDA进行加速计算import torchtorch.cuda.is_available()

pdb Python自带的一种debug工具pdb 的两种用法1: 非侵入式方法python -m pdb filename.py2: 侵入式方法Import pdbpdb.set_trace()3: 常用命令l：查看当前位置前后11行源代码ll：查看当前函数或框架的所有源代码n： 执行下一行不会进入函数体c：持续执行下去，直到遇到一个断点n：执行下一行（不会进入函数体）s：执行下一行（能够进入函数体）p：打印变量，相当于print()函数q：退出调式器referen

for linux and windowswget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shFor OSXwget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.shInstall minicondash Miniconda3-latest-*-x86_64.sh -bRun conda init~ /

1：在终端执行程序指定GPUCUDA_VISIBLE_DEVICES=0 python demo.py其他可用的形式CUDA_VISIBLE_DEVICES=0,1CUDA_VISIBLE_DEVICES=“0,1,2”2：在python代码中指定GPUimport osos.environ["CUDA_VISIBLE_DEVICES"]="0,1"3：设置定量的GPU使用量import tensorflow as tfconfig = tf.ConfigProto()confi

1：yield一个带有yield的函数就是一个generator, 它和普通的函数不同，生成一个generator看起来像函数调用，但不会执行任何函数代码，直到对其调用next()才开始执行。虽然执行流程仍按照函数的流程执行，但每执行到一个yield语句就会中断，并返回一个迭代值，下次执行的时候从yield的下一个语句继续执行。看起来就如同一个函数在正常执行的过程中被yield中断了数次，每次中断都会从当前的yield返回当前的迭代值。yield的好处是显而易见的，把一个函数改写成一个generator

自然语言相关任务介绍

Tensor概念介绍可以把Tensor理解为多维数组，可以具有任意多的维度，不同的Tensor可以有不同的数据类型（dtype）和形状（shape）同一Tensor中的所有元素的dtype均相同。不同维度的Tensor可视化表示为如下图所示。模型和层的概念模型是深度学习中比较重要的概念，模型的核心功能是将一组输入变量经过一系列的计算，映射到另一组输出变量，用到的映射函数就是一种深度学习算法。模型主要包含两方面的内容。（1）一系列层的组合用于进行映射。（2）一些参数变量在训练的过程中实时更新.

1：基于数据驱动存在的问题长尾效应：现实中的数据分布就是长尾的，在学习的过程中，模型容易出现过拟合，泛化性差。数据噪声：对于有标签的数据，在标注过程中就不可避免的存在噪声。尤其是多人在标注一份数据集的时候，由于每个人的知识背景都不一样，对于问题的理解也就不一样，因此对同一份数据集的标注结果就会存在误差。也就是说，标注规范难以确定，无法统一大家的知识库。2：基于预训练语言模型存在的问题预训练模型的方式归根结底仍然属于数据驱动的任务，其通过在大规模数据上学习，推断未知数据的概率。如果数据中存在表述不

1 发现有趣AI论文的地方Papers With Code.RedditMedium2 掌握论文背景信息论文解决什么问题使用什么方法，该方法有什么优缺点3 把握主要观点先看一下各个章节和小节的标题，把它们与文章所介绍的模型架构联系起来4 客观看待实验结果检查比较基准:作者对比的是否全面检查Ablation:文章给出的pipeline方案中每个组成部分对实验结果的贡献上，贡献大小是否都被检验检查数据：用于论文所处理任务的开源主流数据是否提到了5实验结果整理论文中提到的实

1 数据信息如下表所示

搭建个人的博客https://blog.csdn.net/weixin_43664418/article/details/103542206?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-7.highlightwordscore&depth_1-utm_source=distribute.pc_relevant.none-t

1：NLP技术发展时序图

1.XLNet和Bert的对比分析1.1 自回归语言模型（Autoregressive LM）就是从左向右依次计算某个词出现的概率或者从右向左计算某个词出现的概率，典型代表就是GPT1.2 自编码语言模型(Autoencoder LM)把句子中的某个词用【MASK】替换掉，然后根据该单词的上下文来预测该单词，典型代表就是BERT1.3 两种模型的优缺点自回归语言模型没有能自然的同时获取单词的上下文信息，而自编码语言模型能很自然的把上下文信息融合到模型中，Bert中的每个Transformer都能

ATEC：是金融领域客服场景的数据.BQ：银行领域的问题匹配，BQ数据链接。LCQMC：覆盖多个领域的问题匹配，LCQMC数据链接。PAWSX：谷歌发布的数据集，包含多种释义对和非释义对。STS-B：计算两句话的相关性，是通过翻译和人工修正后的数据集。...

1：推荐系统的基本概念构建推荐系统本质上是要解决“5W”的问题，即向谁（who）在什么时间（when）在什么地方（where)推荐什么内容（what）并解释为什么推荐（why）2:常见的推荐算法（1）协同过滤推荐算法（Collaborative Filtering Recommendation）:该算法的核心是分析用户的兴趣和行为，利用具有共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。基于用户的协同过滤：根据用户的历史喜好，分析出具有相似兴趣的人，然后给用户推荐其他人喜欢的物品。基

To Iterate is Human, to Recurse, Divine.中文译为：人理解迭代，神理解递归关于递归和循环的生动解释1：递归你打开面前这扇门，看到屋里面还有一扇门。你走过去，发现手中的钥匙还可以打开它，你推开门，发现里面还有一扇门，你继续打开它。若干次之后，你打开面前的门后，发现只有一间屋子，没有门了。然后，你开始原路返回，每走回一间屋子，你数一次，走到入口的时候，你可以回答出你到底用这你把钥匙打开了几扇门。2：循环你打开面前这扇门，看到屋里面还有一扇门。你走过去，发现手中的钥

从ES索引库中读取数据的代码逻辑如下：#!/usr/bing/env python# -*-coding:utf-8-*-# author:xx# datetime:21-x-x 下午xx:xx# software:PyCharmimport osimport sysimport jsonimport inspectfilename = inspect.getframeinfo(inspect.currentframe()).filenamematrix_dir = os.path

1：在root用户下，修改root用户的密码passwd输入两遍新密码2：在root用户下，修改普通用户的密码，如修改nlp用户的密码passwd nlp输入两遍新密码

出现ping:unknown host的主要问题是linux设置的DNS解析不了。解决办法：vim /etc/resolv.conf nameserver 8.8.8.8nameserver 4.4.4.4重启网络service network restart

网友说这样处理conda config --add channels - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/freeconda config --add channels - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main但是我没有成功最终改成离线环境测试可以conda config --set offline true所以朋友们，如果以后还遇到HTTPErro

1.安装cudasudo sh cuda_10.2.89_440.33.01_linux.run2.安装cudnncp /usr/local/cuda-10.2/include/cudnn.h /usr/local/cuda/includecp /usr/local/cuda-10.2/lib64/lib* /usr/local/cuda/lib643.建立软链接ln -s /usr/local/cuda-10.2 /usr/local/cuda4.修改环境变量sudo vim

1：创建环境conda create -n pytorch python=3pytorch:是虚拟环境的名字2：删除环境conda remove -n pytorch --all3：激活环境conda activate pytorch or source activate pytorch4：关闭环境deactivate pytorch5：安装环境`url:https://pytorch.org/get-started/previous-versions/从上述地址找安装pyto

我们下载下来的预训练的bert-base模型的大小大概是394M左右，但我们在自己数据集上经过fine-tuning后的bert-bae模型大小大约是1.2G, 整整是Bert-base模型的3倍，让我们来看看到底是什么原因造成的，首先我们可以通过下一段代码来输出我们训练好的模型和官方提供的Bert-base模型的参数变量。1:官方提供的Bert-base模型参数信息如下：from tensorflow.python import pywrap_tensorflowfrom tensorflow.co

排序算法查找算法

1：HMM和CRF的共性和区别（1）相同点：都是用来做序列标注建模的任务，如词性标注。（2）不同点：HMM的最大缺点就是其输出独立性假设，导致其不能够考虑上下文的特征，限制了特征的选择；在每一个节点处都要进行归一化操作，所以只能够找到局部的最优值，同时也带来了标记偏见的问题（label,bias）;CRF选择上下文相关特性；不在每一个节点进行归一化，而是对所有特征及逆行全局归一化，可以求得全局的最优值。...

1：统计当前目录下python文件的数量find . -name "*.py" |wc -l2：统计当前目录下所有python文件中代码的数量find . -name "*.py" |xargs cat|wc -l3：统计当前目录下所有python文件的代码数量并过滤空行find . -name "*.py" |xargs cat|grep -v ^$|wc -l......

tool1:对list中的元素是字典格式的数据集进行去重from functools import reducedef list_dict_duplicate_removal(data_list): run_function = lambda x, y: x if y in x else x + [y] # return the result return reduce(run_function, [[], ] + data_list)if __name__ == '__mai