CVPR2020 - 自校准卷积

Improving Convolutional Networks with Self-Calibrated Convolutions

今天开始看2020年的CVPR（论文合集地址：https://github.com/amusi/CVPR2020-Code）

论文源码地址：https://github.com/backseason/SCNet

文章下载地址：http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf

由原文翻译整理，仅供学习，侵删，转载请注明出处。

摘要：

CNN的最新进展主要致力于设计更复杂的体系结构，以增强其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程。为此，我们提出了一种新颖的自校准卷积，该卷积通过内部通信显着扩展了每个卷积层的感受野，从而丰富了输出特征。特别是，与使用小核（例如3×3）融合空间和通道方向信息的标准卷积不同，我们的自校准卷积通过新颖的自我自适应地围绕每个空间位置建立了远程空间和通道间依赖性-校准操作。因此，它可以通过显式合并更丰富的信息来帮助CNN生成更多区分性表示。我们的自校准卷积设计简单且通用，可以轻松应用于增强标准卷积层，而不会引入额外的参数和复杂性。广泛的实验表明，将我们的自校准卷积应用于不同的主干时，可以在各种视觉任务（包括图像识别，对象检测，实例分割和关键点检测）中显着改善基线模型，而无需更改网络体系结构。我们希望这项工作可以为将来的研究提供一种设计新颖的卷积特征变换以改善卷积网络的有前途的方法。

1 Introduction

在本文中，我们没有设计复杂的网络体系结构来增强特征表示，而是引入了自校准卷积作为通过增加每层基本卷积变换来帮助卷积网络学习判别表示的有效方法。类似于分组卷积，它将特定层的卷积过滤器分为多个部分，但不均匀地，每个部分中的过滤器以异构方式被利用。具体而言，自校准卷积不是通过均匀地在原始空间中对输入进行所有卷积，而是首先通过下采样将输入转换为低维嵌入。采用由一个滤波器部分变换的低维嵌入来校准另一部分中的滤波器的卷积变换。得益于这种异构卷积和滤波器间通信，可以有效地扩大每个空间位置的接收场。

作为标准卷积的增强版本，我们的自校准卷积具有两个优点。首先，它使每个空间位置都能自适应地对远程区域的信息上下文进行编码，从而打破了在小区域（例如3×3）内进行卷积的传统。这使我们的自校准卷积产生的特征表示更具区分性。在图1中，我们将ResNet生成的具有不同卷积类型的特征激活图可视化[12，40]。可以看出，具有自校准卷积的ResNet可以更准确和整体地定位目标对象。其次，所提出的自校准卷积是通用的，可以轻松应用于标准卷积层，而无需引入任何参数和复杂性开销或更改超参数。

2 Related work

结构设计：近年来，在新颖的结构设计领域取得了显着进步。作为早期工作，与AlexNet [19]相比，VGGNet [33]使用具有较小内核大小（3×3）的卷积滤波器来构建更深的网络，从而在使用较少参数的情况下获得更好的性能。 ResNets [12，13]通过引入残余连接并使用批处理规范化来改善顺序结构，从而可以构建非常深的网络。 ResNeXt [40]和Wide ResNet [43]通过对3×3卷积层进行分组或增加其宽度来扩展ResNet。 GoogLeNet [35]和Inceptions [36，34]利用经过精心设计的Inception模块，这些模块具有一组专用过滤器（3×3等）的多个并行路径进行特征转换。 NASNet [48]通过探索预定义的搜索空间来学习构建模型架构，从而实现可移植性。 DenseNet [17]和DLA [42]通过复杂的自下而上跳过连接来聚合功能。双路径网络（DPN）[7]利用残余连接和密集连接来构建强大的特征表示。 SENet [16]引入了squeeze-and-excitation 操作，以显式地模拟通道之间的相互依赖性。

远程依赖关系建模（Long-Range Dependency）：建立远程依赖关系在大多数计算机视觉任务中很有帮助。 SENet [16]是成功的例子之一，它采用squeeze-and-excitation模块建立通道尺寸之间的相互依赖性。后来的工作，例如GENet [15]，CBAM [38]，GCNet [3]，GALA [25]，AA [1]和NLNet [37]，通过引入空间注意力机制或设计高级的attention blocks进一步扩展了这个想法。建模长期依赖关系的另一种方法是利用具有大内核窗口的空间池化或卷积运算符。一些典型的例子，例如PSPNet [45]，采用多个具有不同大小的空间池化运算符来捕获多尺度上下文。还有许多工作[28、14、41、5、22]，它们利用大卷积核或散布卷积进行远程上下文聚合。我们的工作也不同于八度卷积[6]，后者旨在减少空间冗余和计算成本。与上述所有侧重于调整网络体系结构或添加其他手动设计的块以改善卷积网络的方法不同，我们的方法考虑更有效地利用卷积层中的卷积滤波器，并设计功能强大的特征转换，以生成更具表现力的特征表示。

3 Methods

传统卷积：第i个通道的输出特征映射可以表示为