第八章 注意力机制与外部记忆

第八章 注意力机制与外部记忆

根据通用近似定理，前馈网络和循环网络都有很强的能力。但由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力。特别是在处理复杂任务时，比如需要处理大量的输入信息或者复杂的计算流程时，目前计算机的计算能力依然是限制神经网络发展的瓶颈。

为了减少计算复杂度，通过部分借鉴生物神经网络的一些机制，我们引入了局部连接、权重共享以及汇聚操作来简化神经网络结构。虽然这些机制可以有效缓解模型的复杂度和表达能力之间的矛盾，但是我们依然希望在不“过度” 增加模型复杂度(主要是模型参数)的情况下来提高模型的表达能力。以阅读理解任务为例，给定的背景文章(Background Document)一般比较长，如果用循环神经网络来将其转换为向量表示，那么这个编码向量很难反映出背景文章的所有语义。在比较简单的任务(比如文本分类)中，只需要编码一些对分类有用的信息，因此用一个向量来表示文本语义是可行的。但是在阅读理解任务中，编码时还不知道可能会接收到什么样的问句。这些问句可能会涉及背景文章的所有信息点，因此丢失任何信息都可能导致无法正确回答问题。

神经网络中可以存储的信息量称为网络容量(Network Capacity)。一般来讲，利用一组神经元来存储信息时，其存储容量和神经元的数量以及网络的复杂度成正比。如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进 而导致神经网络的参数成倍地增加。

我们人脑的生物神经网络同样存在网络容量问题，人脑中的工作记忆大概只有几秒钟的时间，类似于循环神经网络中的隐状态。而人脑每个时刻接收的外界输入信息非常多，包括来自于视觉、听觉、触觉的各种各样的信息。单就视觉来说，眼睛每秒钟都会发送千万比特的信息给视觉神经系统。人脑在有限的资源下，并不能同时处理这些过载的输入信息。大脑神经系统有两个重要机制可以解决信息过载问题:注意力和记忆机制。

我们可以借鉴人脑解决信息过载的机制，从两方面来提高神经网络处理信 息的能力。一方面是注意力，通过自上而下的信息选择机制来过滤掉大量的无关信息;另一方面是引入额外的外部记忆，优化神经网络的记忆结构来提高神经网络存储信息的容量。

注意力

在计算能力有限情况下，注意力机制(Attention Mechanism)作为一种资源分配方案，将有限的计算资源用来处理更重要的信息，是解决信息超载问题的主要手段。

认知神经学中的注意力

注意力是一种人类不可或缺的复杂认知功能，指人可以在关注一些信息的 同时忽略另一些信息的选择能力。在日常生活中，我们通过视觉、听觉、触觉等方 式接收大量的感觉输入。但是人脑还能在这些外界的信息轰炸中有条不紊地工 作，是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信 息来重点处理，并忽略其他信息。这种能力就叫做注意力(Attention)。注意力可 以作用在外部的刺激(听觉、视觉、味觉等)，也可以作用在内部的意识(思考、回 忆等)。

注意力一般分为两种:
一种是自上而下的有意识的注意力，称为聚焦式注意力(Focus Attention)。 聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力。

另一种是自下而上的无意识的注意力，称为基于显著性的注意力(Saliency- Based Attention)。基于显著性的注意力是由外界刺激驱动的注意，不需要主动 干预，也和任务无关。如果一个对象的刺激信息不同于其周围信息，一种无意识 的“赢者通吃”(Winner-Take-All)或者门控(Gating)机制就可以把注意力转向 这个对象。不管这些注意力是有意还是无意，大部分的人脑活动都需要依赖注意 力，比如记忆信息、阅读或思考等。

一个和注意力有关的例子是鸡尾酒会效应。当一个人在吵闹的鸡尾酒会上 和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容，而忽 略其他人的声音(聚焦式注意力)。同时，如果未注意到的背景声中有重要的词
聚焦式注意力也常称为选择 性注意力(Selective Atten- tion)。(比如他的名字)，他会马上注意到(显著性注意力)

聚焦式注意力一般会随着环境、情景或任务的不同而选择不同的信息。比如 当要从人群中寻找某个人时，我们会专注于每个人的脸部;而当要统计人群的人 数时，我们只需要专注于每个人的轮廓。

人工神经网络中的注意力机制

当用神经网络来处理大量的输入信息时，也可以借鉴人