注意力机制

（1）注意力机制的作用

人脑在有限的资源下，并不能同时处理这些过载的输入信息．大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。

（2）认知神经学中的注意力

在日常生活中，我们通过视觉、听觉、触觉等方式接收大量的感觉输入．但是人脑还能在这些外界的信息轰炸中有条不紊地工作，是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息．这种能力就叫作注意力（Attention）。

注意力一般分为两种：
（1） 自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）。聚焦式注意力也常称为选择性注意力（Selective Attention）。聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力．
（2） 自下而上的无意识的注意力，称为基于显著性的注意力（Saliency-Based Attention）。基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关。如果一个对象的刺激信息不同于其周围信息，一种无意识的“赢者通吃”（Winner-Take-All）或者门控（Gating）机制就可以把注意力转向这个对象．

（3）注意力机制

在目前的神经网络模型中，我们可以将最大汇聚（Max Pooling）、门控（Gating）机制近似地看作自下而上的基于显著性的注意力机制．除此之外，自上而下的聚焦式注意力也是一种有效的信息选择方式。

（4）注意力机制的变体

1. 硬性注意力
2. 键值对注意力
3. 多头注意力
4. 结构化注意力
5. 指针网络

（5）Scaled Dot-Product Attention

（6）Muti-Head Attention

参考：
[1] 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020.
[2] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems 30 (2017).