Attention结构解析

一篇最重要的论文《Attention Is All You Need》中介绍了Attention结构。

总共分为两个部分encode和decode，有三个小模块，attention，Feed Forward和decode部分的multi-head attention模块。

一.Attention

1. input embedding
   使用word2vec将tokens转换成词向量，如ELMO或SkipGram等算法。
2. positional encoding
   位置编码。这里是为了表示该token处于这个句子的什么位置而设置的。
   
   dmodel：词向量的维度
   pos：token在句中的位置，从0开始计算。
   i：词向量的第i个位置，在偶数位置计算其sin，奇数位置计算其cos，
   PE可以看成一个矩阵，行向量表示token，列向量表示词向量维度。
3. Attention模块

这幅图描述了Attention计算过程，具体细节如下：

这里的query，key，value引用了信息检索相关的知识，query是搜索词，key，value是一个字典，已知搜索词在字典中进行查找的一个过程。如果将x1,x2…转换为矩阵运算，可以使用GPU进行加速，提高运算速度：

4. Multi-head Attention
可以直观的翻译为多头注意力机制，意思是转换矩阵有多个，表示从不同的角度去学习一个句子，从不同角度专注于一个词或一个token或几个。

图中的Nx表示可以有多个模块级联。

二.Feed Forward

1. Add&Norm
   
   论文中使用的Norm是layer Normalization
2. FFN
   论文中是用的二层全连接神经网络：
   

三.Decode的multi-head attention

解码端的Attention模块略微复杂，

假如设encode端的输入为t，decode端输出为d，如上图所画，对应到具体计算是：

按照信息检索，encode端提供搜索词，decode提供字典，对搜索词进行检索。