transformer架构

自注意力机制

计算a1与a2、a3、a4的关联性，同时还要计算自己与自己的关联性；其中的soft-max就是做一个normalization操作

自适应机制也可用于语音、图像、影像，CNN实际上就是简化版的self-attention

 

论文中对该架构的详细描述如下，其中左边就是encoder，右边部分就是decoder

decoder怎么确定最终输出的长度？AT-decoder、NAT-decoder;AT输出是一个一个依次输出的，而NAT的输出是一次性完成输出的。但是NAT通常不会优于AT

在decoder从上到下第六层（即cross attention）可以看到，有两个输入（k, v)来自于encoder，一个输入(q)来自于下面的masked

为什么masked self-attention?因为是a1,a2,a3,a4的出现顺序是依次出现的

单独提出一个encoder详解，可分为三个部分

2i表示偶数位置，2i+1表示奇数位置，可以理解为偶数位置用sin,奇数位置用cos ；pos表示单词或者字的位置；d_model表示编码向量的维度。  例如，一个词用512位编码，d_model就是512