- 博客(1)
- 收藏
- 关注
原创 Transformer学习笔记
计算输入词汇的自注意力:将输入的词汇转换为向量,通常为连续值向量,再将向量分别乘三个矩阵WQ、WK、WV,分别得到三个向量q、k、v;输入的词汇编码会有一个基本的编码(embedding)和一个位置编码(positional embedding),最终的编码是两者相加,实现区分。1、PAD MASK:不计算针对PAD的注意力(每个词对PAD的注意力为mask,PAD对每个词的注意力不做处理)以上为单头自注意力(只有一组q、k、v向量),多头自注意力为多组q、k、v。i:编码位置,(0,1,2...)
2023-05-14 21:14:32
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人