qq_35653657的博客

因为我平时做自然语言处理任务的时候感觉很乱,所以根据自己平时的学习自己做了一个总结,可能不适合所有的人,但是比较适合我自己.

我在写代码的时候看到很多代码有的使用以下这种方式导入有的使用transformer的方式导入的,所有我就有的时候有点郁闷究竟使用那种方式导入.根据这个博主的博文,https知道transerformers包包又名pytorch-transformers或者pytorch-pretrained-bert”但是根据一些了解，实际上transformers库是最新的版本（以前称为pytorch-transformers和pytorch-pretrained-bert）...

这个类要配合的torch.utils.data中的DataLoader类才可以发挥作用#因为我在数据预处理的时候将转换成id的数据集全部持久化处理了,所以需要这个方法加载数据#获取文件#第三方库#自定义库#数据集的加载#这个方法负责将数据进行填充,并且转换成tensor对象#把这个批次中的数据按照list长度由高到低排序#将这个批次中数据长度放到len集合中#获得最大的长度#填充数据,都用0来填充init方法把所有数据集加载进来getitem。...

ls--函数线条风格(=‘-’实线,‘–’虚线,‘-.’点划线,‘’实点线)cappops设置箱线顶端和末端线条的属性，如颜色，粗细等。medianprops设置中位数的属性，如线的类型，大小等。marker线条上点的形状,常用为’o’,即圆点形状。meanprops;设置均值属性，如点的大小，颜色等。boxprops设置箱体的属性，边框色和填充色。markeredgecolor点的边框色。markersize线条上点的形状。showmeans是否显示均值。...

这是我在自己做实验中总结的一些工具方法,对于我这种菜鸟来说,经常不记得这些方法,可以拿出来使用使用.后续会持续更新.

命名实体识别任务,是每个字对应一个标签,所以在填充数据的时候,需要给标签也填补位置.而bert输入格式是固定的,则在其他几个任务中,是一样的处理过程,唯一的区别就是在输出的真实值不一样.

日志模块主要是记录模型训练,网络收敛的一个情况.以及可视化展示(tensorboard工具).一般存放一些辅助函数,其他包不能放的都可以放到这个包里面。数据读取模块,一个是数据预处理功能,一个数据采样功能.base模块里面存放这pytorch框架通用的模块.数据模块存放着我们需要训练的数据.metric.py结果展示。model.py自定义模型。loss.py损失函数。测试和训练的入口文件。...

首先会把所有数据分发到列表上的GPU进行训练，然后再gather到主GPU计算loss。最后在shell后台使用的下面语句运行(暂时我只发现这种方法运行,其他方法还需要寻找)

在自然语言处理中，使用RNN（这里指的的是LSTM）处理输入输出数据的时候，LSTM可以解决长文本依赖，因为他可以依赖于前面的文本，且不能够做并行计算，导致运算的速度非常慢。所以有很多学者就会使用CNN去替代RNN，CNN需要叠加许多层，就可以看到所有的序列信息，并且可以并行计算。但是存在一个问题，就是需要叠加很多层，这样也间接的导致了效率变低。...

这个面板图源自https我是参考这个作者重新写了一遍笔记,便于自己记录.

这是我对transformer浅陋的理解

这篇文章主要是学习评估函数

这是我在学习NLP入门的时候的一个笔记

使用神经网络实现对天气的预测