Attention注意力机制的前世今身

©PaperWeekly 原创 · 作者｜马敏博

学校｜西南交通大学硕士生

研究方向｜命名实体识别

总体介绍

注意力机制（Attention Mechanism）最早应用 CV 任务上 ，但最初的论文引用，作者没有找到，如有知晓的，还望在评论中给出。在 NLP 中的最早应用，应该是文献 [1]，机器翻译中对齐与翻译联合学习。

直观地说，注意力机制是衡量重要性权重的向量，或元素之间相关性的表示。

先引入 seq2seq 框架，由编码器和解码器组成，广泛用于机器翻译、自动文摘等任务。

• 由编码器对原始输入进行编码，压缩为固定长度的上下文向量;

• 编码器最后的一个隐藏层状态送入解码器，进行解码输出。

可以解决变长的输入与输出，用于不同语言、不同长短的输入与输出。常用的网络结构为 RNN，具体为 LSTM 或 GRU。

Attention最初的样子

但是上述任务面临一个问题，仅靠编码层最后一个隐层状态能否包含整个输入的信息，特别当翻译的语句特别长时，这种问题更加显著。

文献 [1] 提出将编码层所有隐层状态经过线性加权后，送入解码层，进行每一步的输出，如下图所示。这样能够保证在解码不同词时，每个词的编码贡献是不同的，也能反映出源语言与目标语言中哪些词是较为相关的。

▲ 文献1中编解码图

公式也特别简单，下面来复述一下：

2.1 首先定义符号：

表示输入序列；

表示输出序列；