《深度学习与神经网络》（注意力机制与外部记忆）

*神经网络存在的问题：*由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力。处理大量的输入信息或者复杂的计算流程时，目前计算机的计算能力依然是限制神经网络发展的瓶颈。
解决的一些方法：引入了局部连接、 权重共享以及汇聚操作来简化神经网络结构。
大脑神经系统有两个重要机制可以解决信息过载问题： 注意力和记忆机制。
定义:

1. 注意力，通过自上而下的信息选择机制来过滤掉大量的无关信息，是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
2. 外部记忆，优化神经网络的记忆结构来提高神经网络存储信息的容量。

注意力机制

3. 将最大汇聚（max pooling）、门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。
4. 注意力机制的计算可以分为两步：一是在所有输入信息上计算注意力分布，二是根据注意力分布来计算输入信息的加权平均。
5. 缩放点积模型解决的问题：当输入信息的维度d比较高，点积模型的值通常有比较大方差，从而导致softmax函数的梯度会比较小。
6. 双线性模型：
   
7. 键值对注意力

注意力机制的应用

1. 基于卷积或循环网络的序列编码都是可以看做是一种局部的编码方式，只建模了输入信息的局部依赖关系。
2. 自注意力模型（Self-Attention Model）来“动态”地生成不同连接的权重。解决问题：不同的输入长度，其连接权重的大小也是不同的。
3. 首先通过线性变换得到三组向量
4. 采用键值对注意力