Tan_JX的博客

原创 读取csv文件，对每行进行jieba分词，再写入新的csv文件

原创 csv文件，计算每行的长度并添加至每行末

原创 transformer中masked attention 取上三角矩阵的原因

在实际中，我们知道生成一个句子时，我们无法看到后面的信息。比如生成我爱你，当生成“爱”时只能用到“我”的信息，并不能用到“你”的信息。但是在训练时，我们要给模型并行语料去学习，输入 I LOVE YOU 希望模型翻译成 我 爱 你，但同时又要模拟真实情况下的输入，那么我们给decoder输入相应的译文中，要掩码掉部分信息，使其让模型不可见这部分信息。那么矩阵中黄色部分就得取值为0，使代码对这部分不可运算。这也是为什么在transformer中的masked阶段要生成一个上三角矩阵的原因。

原创 pytorch之torch.utils.data

我们自定义的类要继承torch.utils.data中Dataset这个父类，在init初始化方法中采用super（）这个特殊函数，super函数里必须要包含两个参数，分别是子类名和参数self，这样你的自定义数据类就可继承Dataset父类的方法。这个接口的目的是将自定义的Dataset根据batch size大小，是否shuffle等选项封装成一个batch size大小的tensor。以下是DataLoader初始化的参数：（按住ctrl 点击类名进行查询，自行根据所需调整相应的参数即可）