cheapworker的博客

原创 Transformer学习笔记

计算输入词汇的自注意力：将输入的词汇转换为向量，通常为连续值向量，再将向量分别乘三个矩阵WQ、WK、WV，分别得到三个向量q、k、v；输入的词汇编码会有一个基本的编码（embedding）和一个位置编码（positional embedding），最终的编码是两者相加，实现区分。1、PAD MASK：不计算针对PAD的注意力（每个词对PAD的注意力为mask，PAD对每个词的注意力不做处理）以上为单头自注意力（只有一组q、k、v向量），多头自注意力为多组q、k、v。i：编码位置，（0,1,2...）