Attention的基本原理

---

Attention的思想如同它的名字一样，就是“注意力”，在预测结果时把注意力放在不同的特征上。

一、举个例子

• 比如在预测“我妈今天做的这顿饭真好吃” 的情感时，如果只预测正向/负向，那真正影响结果的只有“真好吃”这三个字，前面说的“我妈今天做的这顿饭”基本没什么用，如果是直接对token embedding进行平均去求句子表示会引入不少噪声。
• 所以引入attention机制，让我们可以根据任务目标赋予输入token不同的权重，理想情况下前半句的权重都在0.01，后三个字则是“0.3, 0.3, 0.3”
• 在计算句子表示时就变成了：
  最终表示 = 0.01x我+0.01x妈+0.01x今+0.01x天+0.01x做+0.01x的+0.01x这+0.01x顿+0.02x饭+0.3x真+0.3x好+0.3x吃
  核心就在于这个权重怎么计算？
  

二、注意力公式

通常我们会将输入分为query(Q), key(K), value(V)三种：

上文中QK的具体运算f有多种方法，常见的有加性attention和乘性attention：

再深入理解下去，这种机制其实做的是寻址（addressing），也就是模仿中央处理器与存储交互的方式将存储的内容读出来，可以看一下李宏毅老师的课程。

三、注意力早期的发展

attention在NLP中最早的应用：Seq2seq+attention。
（1）没有attention的Seq2seq：

（2）加入attention与rnn结合的model（也叫soft attention）:

四、优缺点

优点：

• 在输出序列与输入序列“顺序”不同的情况下表现较好，如翻译、阅读理解；
• 相比RNN可以编码更长的序列信息；
• 运算并行，加速推理。

缺点：

• 对序列顺序不敏感。

---

如果有用，请点个三连呗 点赞、关注、收藏。
你的鼓励是我最大的动力

---