论文笔记：Residual Attention Network for Image Classification

论文地址：Residual Attention Network for Image Classification
本文地址：论文笔记：Residual Attention Network for Image Classification

前言

深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。最早将Attention利用在图像处理上的出发点是，希望通过一个类似于人脑注意力的机制，只利用一个很小的感受野去处理图像中Attention的部分，降低了计算的维度。而后来慢慢的，有人发现其实卷积神经网络自带Attention的功能，比方说在分类任务中，高层的feature map所激活的pixel也恰好集中在与分类任务相关的区域，也就是salience map，常被用在图像检测和分割上。那么如何利用Attention来提升模型在分类任务上的性能呢？本文提供了一种新的思路。

Residual Attention Network

人们看到论文题目时一定会觉得很熟悉，哇靠，这不是模仿大名鼎鼎的ResNet吗，确实ÿ