SCNet论文详解：Improving Convolutional Networks with Self-calibrated Convolutions

《Improving Convolutional Networks with Self-calibrated Convolutions》是2020年CVPR的论文，作者来自于南开大学程明明团队。最近各种卷积注意力组合的模块工作层出不穷，性能涨点明显，包括之前的Res2Net、李沐团队的ResNeSt，应该是近期的热点方向。
论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
代码地址:https://github.com/MCG-NKU/SCNet

一、前言

最近CNNs的进步，主要集中于设计更复杂的结构，从而增强它们表示学习的能力。在本篇论文，我们考虑改进CNNs的卷积特征转换过程，而不改变模型架构。为达到这个目的，我们提出了一种自校准的模块（多个卷积注意力组合的模块），替换基本的卷积结构，在不增加额外参数和计算量的情况下，该模块能够产生全局的感受野。相比于标准卷积，该模块产生的特征图更具有区分度。
作为标准卷积的一种增强版本，自校准卷积有两个优势：
1、它使得每个空间位置可以自适应的编码来自长范围区域的相关信息，而传统卷积只能对小区域进行卷积操作（例如3*3卷积）。图1是可视化不同卷积方式的resnet产生的特征激活图，可以看到，带自校准卷积的resnet可以更准确的定位目标物体；
2、论文提出的自校准卷积是普遍适用的，它能够轻易地应用到标准的卷积层中，而不需要引入任何参数和复杂的头部或改变超参数；