论文阅读：Making Convolutional Networks Shift-Invariant Again

Abstract

目的，利用经典信号采样理论，消除下采样（max-pooling, strided-convolution, and averagepooling）引起的信号混叠（锯齿）效应。方法抗锯齿（anti-aliasing)，达到平移不变形。

1. Introduction

早期的网络确实采用了模糊下采样的形式–平均池，但经验说明最大池表现更好，但2018有人发现因为maxpool没有抗锯齿，所以导致小的输入变化引起大的输出变化。所以文章改进maxpooling，原maxpool可看做两步（1）评估最大操作数-密集地进行（2）subsampling子采样，我们在两步中间引入低通滤波器（对信号（例如图像）进行下采样时，教科书解决方案是通过对信号进行低通滤波来消除锯齿），效果平移不变性。
strided-conv可抗锯齿，但是过分过滤可能导致大量丢失信息，降低性能。
综上：

1. 我们集成了经典的抗锯齿功能，以改善移位效果，深度网络的等方差。至关重要的是，方法与现有的下采样策略兼容。
2. 我们验证了常见的下采样策略–最大池化，平均池化，跨步卷积-在不同网络架构。我们跨多个任务进行测试–图片分类和图像到图像的翻译。
3. 对于ImageNet分类，我们惊奇地发现精度提高，表明有效的正则化。
4. 此外，我们观察到更好的generalization，性能更稳定，对于诸如旋转，缩放，模糊和噪点 的变化
   

2. Related Work

关于网络的一下重要成果和研究方向吧。
Local connectivity和权重共享一直是中心神经网络的基本原则，
local connectivity -》猫的视觉系统覆盖；
增加其他不变性，例如作为旋转，反射和缩放；
定性分析深网络已包含显示可激活隐藏登单位（Girshick等。， 2014 ; 周等。， 2015），积极最大化隐藏单位（Mordvintsev等。， 2015），以及将要素映射回像素空间
量化分析方法measuring representation or output changes 旨在使网络变得最简单这些类型的攻击和干扰：shift，许多方法如二次采样，空洞卷积等，计算和内存成本巨大。文章增加很少的计算消耗。

3. Methods

3.1Preliminaries

Deep convolutional networks as feature extractors：
Shift-equivariance and invariance：描述平移不变性和平移变化性。
Periodic-N shift-equivariance/invariance：描述周期平移不变性和变化性，例如固定步长降采样对应的严格不变性。
Circular convolution and shifting：出于卷积边缘的考虑，一般处理边缘时，为了保证输出尺度的不变，会采用padding方式填充，但是循环卷积(圆周卷积)是回到始边（也可以理解为用始边填充）；对其不变性的分析也是类似的，如果平移到了边沿，也是填充到始边方向；似乎是很有道理，不过作者这里自己承认实际应用的意义不大，padding就够了…这里使用循环卷积只是为了保证数据全部来源于原始特征 ，以便排除padding的干扰，进行更好的测试

3.2. Anti-aliasing to improve shift-equivariance

1 MaxPool→MaxBlurPool：
2 StridedConv→ConvBlurPool
3 AveragePool→BlurPool
4 Anti-aliasing filter selection测试一些过滤器
• Rectangle-2 [1, 1]: moving average or box filter; equivalent to average pooling or “nearest” downsampling
• Triangle-3 [1, 2, 1]: two box filters convolved together;
equivalent to bilinear downsampling
• Binomial-5 [1, 4, 6, 4, 1]: the box filter convolved with
itself repeatedly; the standard filter used in Laplacian pyramids (Burt & Adelson, 1987)

主要思想是比较巧妙地将最大值池化进行了分解：（1）密集最大值选择（2）降采样。然后在两者中间插入一个低通滤波器（二维图像就是卷积运算）。其中，第一步的Max操作是通过密集滑窗进行的，因此具有平移变化性，而后面的降采样不具备平移敏感性。

4. Experiments

图5.在整个VGG中偏离完美的位移等方差。Shift-左侧和右侧之间的特征距离等方差条件（等式1）。每个热图中的每个像素都是一个偏移量（∆h，∆w）。蓝色表示完美的平移等方差；红色表示偏差大。请注意，每层距离的动态范围是不同的。为了可视化，我们通过计算平均值进行校准两个不同图像之间的距离，并将红色映射到该值的一半。累积的下采样因子在[括号]中；分层pool5，分类器和softmax，平移等距和平移不变是等效的，因为要素没有空间范围。层数最多max1具有完美的等方差，因为还没有下采样发生。（a）在基准网络上，均等偏移减少会进行时间下采样。周期N位移等方差成立，每次下采样时N倍增。（b）经过我们的抗锯齿在网络中，可以更好地保持平移等方差，并且结果输出的平移不变性也更高。