生成器类的代码实现:
知识点1:这里其实就是一个linear再加上一个F.log_softmax()在维度为负一上的变换。目的就是改变向量维度。没什么新奇的内容。
知识点2:import torch.nn.functional
模型基本测试训练模型
第一步:构建数据集生成器
1.导入工具包Batch,它能够对原始样本数据生成对应批次的掩码张量。
from pyitcast.transformer_utils import Batch
2.需要的参数有V,用来给random.randint生成batch大小,10维度的数据集。
第二个参数是batch
即一次传入多少数据量。
第三个参数是num_batch,要进行多少轮才会完成数据,也就是num_batch*batch量就是总数据量。
3.构建tensor,用torch.from_numpy(),生成一到V的矩阵。
4.将第一列作为起始列变成全一,用切片操作。data [:,0] = 1。
5.传成source = variable(data,require_grad=Flase)
targert = Variable(data,require_grad=Flase)这里都要构建一个Variable,来装这些数据。
同时要将参数更新关掉。因为只是一个copy任务。
6.使用yield Batch(source,target)将数据生成器导出,生成的是封装好的迭代器。
使用transformer构建语言模型
知识点1:torch.narrow
1. 类似切片操作,当(0,)表示行上,(1,)表示列上。
2.0是行,1是列。
3.在行上是闭开区间,在列上是闭闭区间。