神经网络学习到的特征对网络来说是等价的无差异的,通过注意力机制能够忽略图像中的无关信息而关注重点信息。近年来通过集中于使用掩码(mask)来形成注意力机制,掩码原理是通过一层新的权重,将图片中关键的特征标识出来,通过训练让网络学习到图片中需要关注的区域。
1. 软注意力
可微注意力,可以通过梯度进行学习权重。
软注意力的注意力域:
(1)空间域(Spatial Domain)
空间变换,对图像的空间域信息做对应的空间变换,将关键的信息提取出来。通过两个分支网络得到变换后的图片特征,一条是定位网络,一条是对输出图像的直接采样。
(2)通道域(Channel Domain)
信息分解,一张3通道(RGB)的图像经过64核卷积后变为64通道,将3通道分解为64通道,64个通道对关键信息的贡献不同,通过给每个通道分配权重,权重越大表示通道与关键信息的相关度越高。
(3)混合域
2. 强注意力
不可微注意力,通过增强学习完成训练。
3. 非局部(Non-local)
在神经网络中操作如下:
![7153bd71c84f3611856967e61d9eefe4.png](https://i-blog.csdnimg.cn/blog_migrate/11aaf77e00362e784eb9800b2437ce3e.png)
其中x表示输入信号(图片,序列,视频等,也可能是它们的features),y表示输出信号,其size和x相同。f(xi,xj)用来计算i和所有可能关联的位置j之间pairwise的关系,这个关系可以是比如i和j的位置距离越远,f值越小,表示j位置对i影响越小。g(xj)用于计算输入信号在j位置的特征值。C(x)是归一化参数。
f(xi,xj)相似度的四种形式
Gaussian:
![51e1f9d6f66320e29af53c40e9c5eb5f.png](https://i-blog.csdnimg.cn/blog_migrate/647a4071473ee1f3c5041a4b81fe2995.png)
Embedded Gaussian:
![841f001ab4c7c9b98844814354c3598c.png](https://i-blog.csdnimg.cn/blog_migrate/0f592e2909c389d57331d980ba8febb8.png)
Dot product:
![29d55059b2f851519d410cbfee23db08.png](https://i-blog.csdnimg.cn/blog_migrate/78c62d2b06805b7678327eb13bd7ae93.png)
Concatenation:
![814e75936d97a55e8c247efec3ea5190.png](https://i-blog.csdnimg.cn/blog_migrate/2d086ad9dfbaf1ae3b42ccc688de3ea6.png)
与全连接层相比,全连接层只是单纯学习到输入到输出的映射关系,non-local考虑到像素与像素间的位置关系会影响到输出。non-loacl可以接受任意大小的输入。
将non-local操作变形成一个non-local block如下:
![9ea634f29208e12df3e2a19da9ad1e2d.png](https://i-blog.csdnimg.cn/blog_migrate/246fd58dd120af8d5d7fb3663defe7a4.png)
![4c40540078673a88d56827e6e672a3ac.png](https://i-blog.csdnimg.cn/blog_migrate/8aa7b3304dcc08a8809b06fcbd13b936.png)