空间注意力机制_深度学习基础概念——计算机视觉中的注意力机制

神经网络学习到的特征对网络来说是等价的无差异的，通过注意力机制能够忽略图像中的无关信息而关注重点信息。近年来通过集中于使用掩码（mask）来形成注意力机制，掩码原理是通过一层新的权重，将图片中关键的特征标识出来，通过训练让网络学习到图片中需要关注的区域。

1. 软注意力

可微注意力，可以通过梯度进行学习权重。

软注意力的注意力域：

（1）空间域（Spatial Domain）

空间变换，对图像的空间域信息做对应的空间变换，将关键的信息提取出来。通过两个分支网络得到变换后的图片特征，一条是定位网络，一条是对输出图像的直接采样。

（2）通道域（Channel Domain）

信息分解，一张3通道（RGB）的图像经过64核卷积后变为64通道，将3通道分解为64通道，64个通道对关键信息的贡献不同，通过给每个通道分配权重，权重越大表示通道与关键信息的相关度越高。

（3）混合域

2. 强注意力

不可微注意力，通过增强学习完成训练。

3. 非局部（Non-local）

在神经网络中操作如下：

其中x表示输入信号（图片，序列，视频等，也可能是它们的features），y表示输出信号，其size和x相同。f(xi,xj)用来计算i和所有可能关联的位置j之间pairwise的关系，这个关系可以是比如i和j的位置距离越远，f值越小，表示j位置对i影响越小。g(xj)用于计算输入信号在j位置的特征值。C(x)是归一化参数。

f(xi,xj)相似度的四种形式

Gaussian：

Embedded Gaussian：

Dot product：

Concatenation：

与全连接层相比，全连接层只是单纯学习到输入到输出的映射关系，non-local考虑到像素与像素间的位置关系会影响到输出。non-loacl可以接受任意大小的输入。

将non-local操作变形成一个non-local block如下：