- 博客(3)
- 收藏
- 关注
RSS订阅原创 transformer(解码器及之后)
知识点1：这里其实就是一个linear再加上一个F.log_softmax()在维度为负一上的变换。第三个参数是num_batch，要进行多少轮才会完成数据，也就是num_batch*batch量就是总数据量。6.使用yield Batch(source,target)将数据生成器导出，生成的是封装好的迭代器。2.需要的参数有V，用来给random.randint生成batch大小，10维度的数据集。1. 类似切片操作，当（0，）表示行上，（1，）表示列上。3.在行上是闭开区间，在列上是闭闭区间。
2023-07-22 19:14:57
169
原创 transformer笔记（编码器之前）
这样就表示，第一列全是零，第二列第一个是零，下面全是零，实际意义在于，第一个就是什么都看不到，第二列是只看得到第一个，这样实现了我们的需求，遮住后面的信息。transpose不是连续的改变，当把（1，2，3，4）的形状用transpose（1，2）变成（1，3，2，4）以后，它是从第二个维度中每一个里面的第一个变为第一个维度的第一个，每一个第二个维度的第二个变成第一个维度里面的第二个，（2，3）变为（3，2）。4.mask传入的mask是矩阵，可以是全零的矩阵，一般是向上偏移一位的下三角矩阵。
2023-07-18 18:48:57
75
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人