极简笔记 Residual Attention Network for Image Classification

极简笔记 Residual Attention Network for Image Classification

论文地址：https://arxiv.org/abs/1704.06904

文章核心贡献，提出残差注意力模块结构，提升在ImageNet分类问题上的性能。

Attention机制听起来很玄乎，在这儿其实很简单，就是feature map多出一个分支去预测权重mask，然后把这个mask乘在骨架网络之后的feature map。在mask branch中使用类似FCN的下采样-上采样结构，通过sigmoid激活输出。以及为了防止[0,1]范围的mask减弱trunk branch feature map的响应强度，文章使用了残差的形式，即对于输入feature map