卷积神经网络 - 卷积与池化作为一种无限强的先验篇

序言

在深度学习的浩瀚星空中，卷积神经网络（$\text{CNN}$）以其卓越的特征提取能力，成为了处理图像和视频等复杂数据的关键工具。其中，卷积与池化操作作为$\text{CNN}$的两大基石，不仅定义了网络如何“看”世界，还隐含了一种无限强大的先验知识——即局部连接性、权重共享以及空间层次性。这些先验知识，如同智慧的灯塔，指引着网络在数据海洋中高效航行，自动学习并抽象出高层次的特征表示，从而赋予机器以视觉理解和分析的能力。

卷积与池化作为一种无限强的先验

• 回忆一下应用数学与机器学习基础 - 贝叶斯统计篇中先验概率分布 ($\text{prior probability distribution}$) 的概念。这是一个模型参数的概率分布，它刻画了在我们看到数据之前我们认为什么样的模型是合理的信念。

• 先验被认为是强或者弱取决于先验中概率密度的集中程度。

  • 弱先验具有较高的熵值，例如方差很大的高斯分布，这样的先验允许数据对于参数的改变具有或多或少的自由性。
  • 强先验具有较低的熵值，例如方差很小的高斯分布，这样的先验在决定参数最终取值时起着更加积极的作用。

• 一个无限强的先验对一些参数的概率置零并且要求禁止对这些参数赋值，无论数据对于这些参数的值给出了多大的支持。

• 我们可以把卷积神经网络想成和全连接网络类似，但对于这个全连接网络的权值有一个无限强的先验。

  • 这个无限强的先验是说一个隐藏单元的权值必须和它邻居的权值相等，但在空间中改变。
  • 这个先验也要求除了那些处在隐藏单元空间连续的小的接收域以内的权值外，其余的权值都为零。
  • 总之，我们可以把卷积的使用当作是对网络中一层的参数引入了一个无限强的先验概率分布。
  • 这个先验是说该层应该学得的函数只包含局部连接关系并且对平移具有等变性。
  • 类似的，使用池化也是一个无限强的先验：每一个单元都具有对少量平移的不变性。

• 当然，把卷积神经网络当作一个具有无限强先验的全连接网络来实现会导致极大的计算浪费。但把卷积神经网络想成具有无限强先验的全连接网络可以帮助我们更好地洞察卷积神经网络是如何工作的。

• 其中一个关键的洞察是卷积和池化可能导致欠拟合。

  • 与任何其他先验类似，卷积和池化只有当先验的假设合理且正确时才有用。
  • 如果一项任务依赖于保存精确的空间信息，那么在所有的特征上使用池化将会增大训练误差。
  • 一些卷积神经网络($\text{Szegedy et al., 2014a}$) 为了既获得具有较高不变性的特征又获得当平移不变性不合理时不会导致欠拟合的特征，被设计成在一些通道上使用池化而在另一些通道上不使用。
  • 当一项任务涉及到要对输入中相隔较远的信息进行合并时，那么卷积所需要的先验可能就不正确了。

• 另一个关键洞察是当我们比较卷积模型的统计学习表现时，只能以基准中的其他卷积模型作为比较的对象。

  • 其他不使用卷积的模型即使我们把图像中的所有像素点都置换后依然有可能进行学习。
  • 对于许多图像数据集，还有一些分别的基准，有些是针对那些具有置换不变性 ($\text{permutation invariant}$) 并且必须通过学习发现拓扑结构的模型，还有一些是针对设计者将空间关系的知识通过硬编码给了它们的模型。

总结

• 卷积与池化，作为$\text{CNN}$设计中最为精妙的部分，其背后蕴含的无限强先验，是深度学习能够跨越传统机器学习界限，实现复杂模式识别的关键所在。

• 卷积操作通过局部感受野和权重共享，有效降低了模型参数量，同时捕捉到了图像中的局部特征及其空间关系；而池化操作则进一步强化了特征的尺度不变性和鲁棒性，通过降维减少了计算量，同时保留了最重要的信息。二者相辅相成，共同构建了一个强大的特征金字塔，使得$\text{CNN}$能够在无需人工干预的情况下，自动从原始数据中挖掘出深层次的抽象特征。

• 因此，卷积与池化不仅是技术上的创新，更是对自然世界理解方式的深刻洞察，它们以无限强的先验为基石，支撑起了深度学习在图像识别、视频分析等领域内的辉煌成就。

往期内容回顾

应用数学与机器学习基础 - 容量、过拟合和欠拟合篇
应用数学与机器学习基础 - 贝叶斯统计篇