【论文】在卷积神经网络中，对适当的变形稳定性来说，池化操作既不必要也不充足

 

在卷积神经网络中，对适当的变形稳定性来说，池化操作既不必要也不充足

Aavraham Ruderman,Neil C. Rabinowitz,Ari S.Morcos,Daniel Zoran

DeepMind(London,UK)

摘要：我们许多的关于神经网络如何运作的核心假设一直是经验地而没有经过检验。一个普遍的假设就是：卷积神经网络需要对小变化和小变形具有稳定性，以解决图像识别任务。很多年来，这种稳定性通过在每层加入池化层整合在卷积神经网络结构中。然而最近，每层的池化操作很大范围内被抛弃了。这使得有个问题付出表面：我们关于变形稳定性的直觉到底对不对？这重不重要？池化操作对于变形不变性必不必要？如果不必要，那么没有池化操作的情况下如何实现变形不变形？本论文严格地测试了这些问题，发现卷积网络中的变形稳定性与之前认为的相比，有细微差别：1、变形不变性不是一个二元性质，二是在不同的任务中需要在不同层有不同程度的变形稳定性；2、变形稳定性不是网络的固定性质，而是很大程度通过卷积过滤器的平滑度在训练过程中被调整的很严重；3、对于完成自然图像分类的变形稳定性的最优形式来说，每个池化层既不必要也不充足；4、池化操作在图像分类的初始化方面授予了太多的变形稳定性，并且在训练期间，网络必须学习抵消这种归纳偏置。同时，这些发现为卷积神经网络中的每个层的池化操作和变形不变性提供新的见解，也证明了我们关于神经网络工作的最基本假设的严格的经验测试的重要性。