注意力机制和自注意力机制的区别

在看论文的时候总会看到注意力机制，但是分不清什么是注意力机制，什么又是自注意力机制。为此，小编整理总结下，便于自己理解。

注意力机制

注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。

非自主提示和自主提示

针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。

1️⃣非自主提示指的是由于物体本身的特征十分突出引起的注意力倾向。

2️⃣自主提示指的是经过先验知识的介入下，对具有先验权重的物体引起的注意力倾向。

简单可理解为非自主提示源自于物体本身，而自主提示源自于一种主观倾向。举例说明如下

当第一眼看到上图时，便会首先将注意力集中到兔子身上。这是因为，整张图中兔子的特征十分的突出，让人一眼就关注到兔子身上。这种引起注意力的方式便是非自主提示。在看到兔子之后，便想兔子在干嘛，从而就会关注兔子的行为。此时兔子在吃草，这时便把注意力集中在兔子周边的草上。这种引起注意力机制的方式便是自主提示，其中"兔子在干嘛"则是主观意识。

查询、键和值

根据自主提示和非自主提示来设计注意力机制。

1️⃣首先考虑简单情况，即只考虑非自主提示的话，只需要对所有物体的特征信息（非自主提示）进行简单的全连接层，甚至是无参数的平均汇聚层或者最大汇聚层，就可以提取出需要感兴趣的物体。
下图是平均汇聚方法的示例图，最后结果是所有物体向量的平均加权和。

2️⃣如果考虑自主提示的话，我们就需要设计一种通过查询（Query），键（Key）和值（Value）来实现注意力机制的方法。其中Query指的是自主提示，即主观意识的特征向量，Key指的是非自主提示，即物体的突出特征信息向量，Value则是代表物体本身的特征向量。
注意力机制是通过Query与Key的注意力汇聚（指的是对Query和Key的相关性进行建模，实现池化筛选或者分配权重），实现对Value的注意力权重分配，生成最终的输出结果。如下图所示：

自注意力机制

自注意力机制和注意力机制的区别就在于，注意力机制的查询和键是不同来源的，例如，在Encoder-Decoder模型中，键是Encoder中的元素，而查询是Decoder中的元素。在中译英模型中，查询是中文单词特征，而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。可以理解为同一句话中的词元或者同一张图像中不同的patch，这都是一组元素内部相互做注意力机制，因此，自注意力机制（self-attention）也被称为内部注意力机制（intra-attention）。
优点：可以建立全局的依赖关系，扩大图像的感受野。相比于CNN，其感受野更大，可以获取更多上下文信息。

缺点：自注意力机制是通过筛选重要信息，过滤不重要信息实现的，这就导致其有效信息的抓取能力会比CNN小一些。这样是因为自注意力机制相比CNN，无法利用图像本身具有的尺度，平移不变性，以及图像的特征局部性（图片上相邻的区域有相似的特征，即同一物体的信息往往都集中在局部）这些先验知识，只能通过大量数据进行学习。这就导致自注意力机制只有在大数据的基础上才能有效地建立准确的全局关系，而在小数据的情况下，其效果不如CNN。

总结

1.注意力可以分为两种方式分别是自主提示和非自主提示。其中非自主提示是键，自主提示是查询，物体原始向量是值。键和值是一一对应的。
2.注意力机制的评分函数可以对查询和键进行关系建模，获取查询和键的相似度匹配。其方法分为两种：加性注意力和点积注意力。常用的是点积注意力。
3.如果查询和键是同一组内的特征，并且相互做注意力机制，则称为自注意力机制或内部注意力机制。
4.多头注意力机制的多头表示对每个Query和所有的Key-Value做多次注意力机制。做两次，就是两头，做三次，就是三头。这样做的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。
5.自注意力机制的优缺点简记为【优点：感受野大。缺点：需要大数据。】

原文链接：

https://blog.csdn.net/weixin_43610114/article/details/126684999

最后：

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！