论文笔记-Random Shifting for CNN: a Solution to Reduce Information Loss in Down-Sampling Layers

Hello，今天是论文阅读计划的第12天啦，快过半了哦～

今天为大家介绍的这篇论文，主要说的是在下采样层通过加入随机转换的操作，可以减少信息损失而提升精度，并且不增加任何多的计算量。

一、背景介绍

下采样在深度卷积神经网络中被广泛采用，用于在保持变换不变性的同时减少网络参数的数量。然而，它不能有效地利用信息，因为它只采用固定的步长策略，这可能导致泛化能力差和信息丢失。

本文提出了一种新的随机策略，通过在训练过程中在下采样层嵌入随机移位来缓解这些问题。随机移位通过在不同方向上移动特征映射上的核中心来动态调整感受野。因此，它可以在网络中生成更鲁棒的特征，并进一步增强下采样算子的变换不变性。

此外，随机移位不仅可以集成到所有下采样层，包括变换步长的卷积层和池化层，还可以在可忽略的额外计算成本下提高离散余弦变换神经网络的性能。

本文用不同的网络结构(如AlexNet、FCN和DFN- MR)在不同的任务(如图像分类和分割)中评估我们的方法。实验结果证明了该方法的有效性。

二、方法

随机移位可以应用于任何下采样层，以减少信息损失。只要特征图上的核步距大于1，随机移位的可用域就不为空。在训练的每次迭代中，我们从可用的随机移位域中随机选择一个作为偏移量。

算法1描述了随机移位的过程：