卷积神经网络中的平移等变性分析

卷积神经网络（CNN）具有平移等变性的观点在某种程度上深入人心，但很少有人去探寻其原因或者理论根据。这篇文章将对这个问题进行系统地讲解，为后续进一步研究CNN的其他等变性和不变性设计夯实基础。

介绍

在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然我们知道我们可以学习目标函数，但也存在许多错误的函数，它们在我们的训练数据上看起来完全一样。如果我们是完全灵活的，我们的模型可能会学习其中任何一个函数，一旦我们移开了训练数据，我们可能无法进行泛化。因此，需要对网络的灵活性加以限制。卷积神经网络是减少灵活性的一个著名成功案例。相较于早期的MLP网络，CNN的卷积牺牲了一部分灵活性，但实现了图像数据的平移等变性，这对于图像处理是十分重要的性质。

什么是平移等变性映射

简而言之，等变性映射是保留变换的代数结构的映射。作为一个特殊情况，平移等变映射是一种映射，当输入被平移时，会导致一个映射发生相应的平移，如下图所示：