极简笔记 Residual Attention Network for Image Classification
论文地址:https://arxiv.org/abs/1704.06904
文章核心贡献,提出残差注意力模块结构,提升在ImageNet分类问题上的性能。
Attention机制听起来很玄乎,在这儿其实很简单,就是feature map多出一个分支去预测权重mask,然后把这个mask乘在骨架网络之后的feature map。在mask branch中使用类似FCN的下采样-上采样结构,通过sigmoid激活输出。以及为了防止[0,1]范围的mask减弱trunk branch feature map的响应强度,文章使用了残差的形式,即对于输入feature map