[2021-10-15] Residual Attention Network in Image Classification PyTorch 小结

Residual Attention Network

论文地址: http://openaccess.thecvf.com/content_cvpr_2017/html/Wang_Residual_Attention_Network_CVPR_2017_paper.html

整体的网络结构

图1: Residual Attention Network结构，引用自Residual Attention Network原文

从图1可以看出，网络的主体为Residual Unit和Attention Module，其中Residual Unit类似于ResNet的残差结构，其具体的细节不再赘述。值得注意的是，Residual Unit block内部，stride有两个选择1或2。当是2的时候，对应的kernel size是3*3，这时output size会减半；否则就使用kernel size为1的卷积核，并保持跟输入尺寸相同。

网络经过图1的结构堆砌，用PyTorch照着kernel size等敲上去就完事了。下面主要分析一下Attention Module到底是什么结构。

Attention Module

图2: Attention Module，引用自Residual Attention Network原文

图2有3个stage，下面以stage 2 (3个Attention Module中间的那个) 为例，介绍该结构的细节

注意：

1. 原文给出的是r=1，p=1，t=2
2. Attention Module的输入图片尺寸和输出尺寸保持一致（由图1也可以看出。feature map (channel) 的数量同时也保持一致）
3. 使用nn.MaxPool2d实现down sample，使用nn.UpsamplingBilinear2d实现up saple。下采样和上采样的个数保持一致，从而确保输出的尺寸和输入尺寸一致，这也是attention的核心
4. 复现的时候有一个trick，我在图片中用黄色标签标注了。这在原文的架构中没有体现，据复现的大佬说：

I refer to the caffe version. u can consider it as a trick.

图3: Attention Module的block展开图，使用ProcessOn绘制

我画出了Attention Module的架构图(图3)，对应的代码我也贴在了下面，
(注：代码引用自GitHub: https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch/blob/master/Residual-Attention-Network/model/attention_module.py)，感谢！

class AttentionModule_stage2(nn.Module):
    # input image size is 28*28
    def __init__(self, in_channels, out_channels, size1=(