Attention原理

1 Attention 基本原理

       神经网络中可以存储的信息量称为网络容量（Network Capacity）。一般来 讲，利用一组神经元来存储信息时，其存储容量和神经元的数量以及网络的复杂 度成正比。如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进 而导致神经网络的参数成倍地增加。

       我们人脑的生物神经网络同样存在网络容量问题，人脑中的工作记忆大概 只有几秒钟的时间，类似于循环神经网络中的隐状态。在有限的时间内，并不能同时处理来自视觉、听觉、触觉各种各样的输入信息。大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。

注意力一般分为两种：

• 一种是自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）。 聚焦式注意力是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力， 聚焦式注意力也常称为选择 性注意力（Selective Attention）。
• 另一种是自下而上的无意识的注意力，称为基于显著性注意力（SaliencyBased Attention）。基于显著性的注意力是由外界刺激驱动的注意，不需要主动 干预，也和任务无关。

下面通过一个例子来说明两种注意力的区别：

鸡尾酒会效应。当一个人在吵闹的鸡尾酒会上 和朋友聊天