[论文阅读]Self-Attention with Relative Position Representations

---

前言

论文名：Self-Attention with Relative Position Representations
论文作者：Peter Shaw et al.
机构：
	Google Brain & Google
期刊/会议名：NAACL 2018
本文作者：XMU_MIAO
日期：2021/1/19

摘要

  完全依赖于注意力机制的Transformer模型在机器翻译上取得了最好的结果。不同于卷积网络或循环网络，Transformer结
构中并不明确地建模（输入字符的）相对或绝对信息。相反，其需要向输入中添加绝对位置表示。在本文的工作中，我们提出一种可供选择的方法来扩展self-attention机制，使其能够高效地考虑到序列元素之间的相对位置或距离。
  在WMT2014EN-DE和EN-FR任务上，这种方法相对于直接在输入中添加绝对位置信息能够产生1.3BLEU和0.3BLEU的提升。值得注意的是，我们观察到将绝对信息和相对信息相结合并不能在翻译质量上产生进一步的提升。我们描述了我们方法的一个有效实现，并将其转换为一个关系感知（relation-aware）的自我注意机制（self-attention mechanism）的实例，该机制可以推广到任意带标记图的输入。

1、Introduction & Motivation

  Transformer模型结构上没有考虑输入序列的顺序，因而需要显式地在输入序列添加位置编码才能够利用序列的位置信息。例如对于一个输入序列 “I BELIEVE THAT I CAN DO IT”，如果不添加位置信息，那么transformer模型是无法感知序列中的两个 “I” 的先后关系。 常见的做法是输入序列的词嵌入（Word Embedding）上加上位置编码（Position Encodings），这些位置编码可以是随时间变化的函数或者是可训练的参数。Transformer模型中注意力计算形式如下$$attn=Attention(X{W}^Q,X{W}^K,X{W}^V)$$其中$X=X_E+X_P$表示输入序列的$WordEmbedding$和$PositionEncodings$之和，在$Attention$函数中主要利用位置编码的地方在于计算$AttnScore$，而计算$AttnScore$的核心公式为：$$scores=(X{W}^Q)(X{W}^K{)}^T=X{W}^Q(W^K{)}^T{X}^T$$经过$W^Q(W^K{)}^T$变换之后，位置编码信息会有所缺失。本文从结构上对$AttentionMechanism$进行改变，提出相对感知的注意力机制（$Relation-awareSelf-Attention$），接下来先详细介绍一下对于$onehead$的$self-attention$机制。

1.1 self-attention（One Head）

   s e l f − a t t