shift-invariant论文翻译

使卷积网络再次移位不变（Making Convolutional Networks Shift-Invariant Again）

摘要

现代的卷积网络并不是位移不变的，因为小的输入位移或平移会导致输出的急剧变化。 常用的下采样方法（例如最大池化，跨步卷积和平均池化）会忽略采样定理。 众所周知的信号处理解决方案是在下采样之前通过低通滤波进行抗混叠。 但是，简单地将此模块插入深层网络会导致性能下降。 结果，今天很少使用它。 我们证明了正确集成后，它与现有的体系结构组件（例如最大池）兼容。

该技术是通用技术，可以跨层类型和应用程序合并，例如图像分类和条件图像生成。 除了增加平移不变性之外，我们还令人惊讶地观察到，在几种常用的体系结构中，抗锯齿可以提高ImageNet分类的准确性。 这表明抗锯齿是有效的常规化。 我们的结果表明，这种经典的信号处理技术已经在现代深度网络中被忽视。 流行网络的代码和抗锯齿版本将在https://richzhang.github.io/antialiased-cnns/上提供。

介绍

当对信号（例如图像）进行下采样时，教科书的解决方案是通过对信号进行低通滤波来消除锯齿（Oppenheim等人，1999； Gonzalez＆Woods，1992）。 没有它，信号的高频成分就会混叠成较低的频率。 这种现象通常在电影中得到说明，在电影中，由于帧速率不符合经典的采样标准（Nyquist，1928年），车轮似乎向后旋转。有趣的是，大多数现代卷积网络都不担心抗锯齿。

早期的网络确实采用了模糊下采样的形式-平均池化（LeCun et al。，1990）。 但是，大量的经验证据表明，最大池化提供了更强的任务性能（Scherer等人，2010），从而导致其被广泛采用。 但是，最大池化并不能提供相同的抗锯齿功能，并且会出现一种新近发现的奇怪现象-输入的微小变化会极大地改变输出（Engstrom等人，2017; Azulay＆Weiss，2019）  。 如图1所示，网络输出可能会根据输入位置发生振荡。

 模糊下采样和最大池化通常被视为竞争下采样策略（Scherer等人，2010）。 但是，我们证明了这些技术是兼容的。 我们的简单观察是，最大池化本质上由两个操作组成：（1）密集地评估最大算子和（2）天真的子采样。 我们建议在两者之间添加一个低通滤波器。 这种观点使低通滤波得以增强，而不是取代最大池。 结果，输入中的移位使输出相对不受影响（移位不变性），并且更紧密地移位了内部特征图（移位等方差）。

 此外，这使得可以在子采样之前直接放置低通滤波器。 使用这种方法，可以使用任何现有的跨步层（例如跨步卷积）实现实际的抗锯齿效果。

 一个潜在的问题是过度的过滤可能会导致大量信息丢失，从而导致性能下降。 然而，通过合理选择低通滤波器权重，我们实际上观察到了跨架构ImageNet分类的绝对性能有所提高（Russakovsky等人，2015）。 我们还测试了图像到图像的转换任务，在该任务中，生成高频内容对于高质量结果至关重要。 总而言之，我们的贡献如下：

•我们集成了经典的抗混叠滤波，以改善深层网络的移位等方差/不变性。 至关重要的是，该方法不必替换任何现有的下采样策略，例如最大池化。

•我们验证了不同实体体系结构中常见的下采样策略–最大池化，平均池化，跨步卷积。 我们跨多个任务进行测试–图像分类和图像到图像翻译。

•对于ImageNet分类，我们惊奇地发现分类准确度实际上提高了，这表明低通滤波可作为有效的正则化器。

图1.所选图像的分类稳定性。 移位图像时，正确类别的预测概率会发生变化。 基线（黑色）显示出混沌行为，该行为已通过我们的方法（蓝色）稳定了。 我们发现跨网络和数据集的这种行为。在这里，我们显示使用ImageNet上的AlexNet架构（上）和CIFAR10上的VGG架构（下）的选定示例。 

• 相关工作

本地连接和权重分配一直是神经网络的中心原则，包括Neocogni tron（福岛和三宅，1982年），LeNet（LeCun等人，1998年）和现代网络，如Alexnet（Krizhevsky等人，  2012年），VGG（Simonyan＆Zisserman，2015年），ResNet（He等人，2016年）和DenseNet（Huang等人，2017年）。

在生物系统中，局部连通性在猫的视觉系统中广为人知（Hubel＆Wiesel，1962）。

       最近的工作努力构建其他类型的方差，例如旋转，反射和缩放（Sifre和Mallat，2013； Bruna和Mallat，2013； Esteves等，2018； Kanazawa等，2014； Worrall 等人，2017年； Cohen＆Welling，2016年）。 我们的重点是平移不变性，这是通常被视为理所当然的属性。

       尽管已将不同的属性和不变性引入到网络中，但是紧急出现表示实际上学习了哪些因素和不变性？ 对深度网络的分析包括定性方法，例如显示激活隐藏单元的补丁（Girshick等人，2014； Zhou等人，2015），积极最大化隐藏单元的数量（Mordvintsev等人，2015），以及进行映射 特征返回像素空间（Zeiler＆Fergus，2014; Henaff＆Si- moncelli，2016; Mahendran＆Vedaldi，2015; Dosovitskiy＆Brox，2016a; b; Nguyen et al。，2017）。 我们的分析专注于特定的低级属性，并且是对这些定性方法的补充。

       一种更定量的网络分析方法是测量表示形式或输出变化（或变化的鲁棒性），以响应对输入的手动生成的扰动，例如图像变换（Goodfellow等，2009； Lenc＆Vedaldi，2015； Azulay  ＆Weiss，2019），几何变换（Fawzi&