Residual Attention Network for Image Classification论文记录

介绍

深度学习中的Attention，源自于人脑中的注意力机制，当人的大脑接受外部信息时，往往不会对全部信息进行处理和理解，只会将注意力集中在部分显著或者感兴趣的点上，这样有助于滤除不重要的信息，从而提高信息处理的效率。Attention不止能使运算聚焦在特定区域，同时也可以使得该区域的特征得到增强，同时将深的网络和ResNet连接，在图像分类上表现出极好的性能，所以本文提出了残差注意网络。

Residual Attention Network

本文的三大创新点：
（1）提出了一种可以堆叠的网络结构，并且将可堆叠的基本模块引入了注意力特征图的机制，不同层次的特征图能够捕捉到图像中的多种响应结果，时网络模型很容易达到很深的层次。
（2）提出了注意力残差学习方式，直接堆叠的基本模块会导致网络梯度消失的问题，使用了类似ResNet的残差连接方式，使得不同层的注意力模块可以得到充分学习。
（3）采用了Bottom-up和top-down结构相结合的方式，自底向上是为了图像的特征提取，自顶向下是为了生成Attention Map。

上图中