深度学习：注意力机制与外部记忆

前言

神经网络中可以存储的信息量称为网络容量（Network Capacity）. 一般来讲，其存储容量和神经元的数量以及网络的复杂度成正比. 如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进而导致神经网络的参数成倍地增加。对于人类来说，在有限的资源下，并不能同时处理这些过载的输入信息，而大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。那么神经网络同样也是可以通过这两个机制来提高神经网络存储信息的容量，即通过自上而下的信息选择机制来过滤掉大量的无关信息和引入额外的外部记忆。

注意力在神经学上的认知

注意力一般分为两种：
（1）聚焦式注意力（Focus Attention）. 聚焦式注意力也常称为选择性注意力（Selective Attention），是指有预定目的、 依赖任务的， 主动有意识地聚焦于某一对象的注意力。
（2）基于显著性的注意力（Saliency-Based Attention），该注意力是由外界刺激驱动的注意， 不需要主动干预，也和任务无关。
具体例子：
一个和注意力有关的例子是鸡尾酒会效应. 当一个人在吵闹的鸡尾酒会上和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容， 而忽略其他人的声音（聚焦式注意力）。同时，如果未注意到的背景声中有重要的词（比如他的名字），他会马上注意到（显著性注意力）。

记忆增强神经网络

为了增强网络容量，我们可