文章目录
视频from: https://www.youtube.com/watch?v=kCc8FmEb1nY
code from: https://colab.research.google.com/drive/1JMLa53HDuA-i7ZBmqV7ZnA3c_fvtXnx-?usp=sharing#scrollTo=tukiH-NbRBhA
理解 [因果] 自注意力
00:47:11 the trick in self-attention: matrix multiply as weighted aggregation
循环实现:
矩阵实现,快【理解这一段的意义,a相当于wei权值,根据数据确定】
先来看矩阵乘法
自回归,生成掩码 方式
标准化 a,实现了 前1,2,3,… K个元素 做均值
验证结果
use Softmax
Softmax 之后,变回来了
文章目录
[因果]自注意力模块
00:58:26 minor code cleanup
注意力关键点笔记:
不想那么 one-hot
完整单头注意力代码
self.register_buffer('tril', torch.tril(torch.ones(block_size, block_size)))
将变量注册到缓存区,更快,
访问:self.tril