Self-Attention with Relative Position Representations阅读笔记

一句话概括：在Transformer模型中加入相对位置表示，可以提升翻译结果的质量。

---

Transformer：采用encoder-decoder框架

• encoder里面有多层，每一层包括两个子层 self-attention 和 FFN（a position-wise feed-forward layer），子层之间通过 layer normalization 连接，层与层之间通过 residual 连接。

• decoder里面同样可以定义多层。每一层包括三个子层 self-attention 、encoder-decoder attention 和 FFN，子层之间通过 layer normalization 连接 ，层与层之间通过 residual 连接。decoder 的 self-attention 使用 masking 防止生成当前输出的时候看到未来的输出结果。

$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{{\sqrt{d}}_k})V$$

$$FFN(x)=max(0,x_i$$