注意力机制工作原理详解

1、什么是注意力机制

注意力机制的有多种多样的实现形式，监管实现方式多样，但是每一种注意力机制的实现的核心都是类似的，就是注意力。

注意力机制的核心就是让网络关注它更需要关注的地方，注意力机制一般以权重的方式体现。

一般注意力机制分为通道注意力机制，空间注意力机制，和两者的结合。

2、空间注意力机制

关注特征点，或者说特征区域，比如识别一张鸟的图片，相对应让鸟头、翅膀位置的权重变得更大一些。

3、通道注意力机制

顾名思义，关注哪个通道更加重要，图像的通道数在网络中不是一直保存不变的，尤其是经过卷积后，宽高减半，通道数增加一倍，每个通道都有其对应的特征，具体说应该是不同区域的特征。

联系到对抗样本中的注意力机制，使用的是反向梯度在第k层卷积上的梯度值大小，来表示注意力的大小。