深度学习中的正则化技术 - 参数绑定和参数共享篇

序言

在深度学习的探索之旅中，如何高效地管理模型的参数，以减少计算成本、提升训练效率并防止过拟合，一直是研究者们关注的焦点。参数绑定与参数共享作为两种重要的参数优化策略，应运而生。参数绑定通过构建参数间的直接或间接联系，使模型的不同部分能够共享或依赖某些参数的变化，从而在保持模型灵活性的同时，减少了独立参数的数量。而参数共享则更进一步，它直接让模型的不同组件使用相同的参数集，特别是在处理具有空间或时间结构的数据时，如图像或序列数据，这种策略尤为有效。这两种技术不仅简化了模型结构，还通过正则化效应增强了模型的泛化能力。

参数绑定和参数共享

参数绑定

• 目前为止，本文我们将讨论对参数添加约束或惩罚时，一直是相对于固定的区域或点。
  • 例如，$L^2$正则化（或权重衰减）对参数偏离零的固定值进行惩罚。
  • 然而，有时我们可能需要其他的方式来表达我们对模型参数适当值的先验知识。
  • 有时候，我们可能无法准确地知道应该采取什么样的参数，但我们从领域和模型结构方面的知识得知模型参数之间应该存在一些相关性。
• 我们经常想要表达的常见类型的依赖之一是某些参数应当彼此接近。
  • 考虑以下情形：我们有两个模型执行相同的分类任务（具有相同类别），但输入分布稍有不同。
  • 形式地，我们有参数为${\mathbf{w}}^{(A)}$的模型$A$和参数为${\mathbf{w}}^{(B)}$的模型$B$。
  • 这两种模型将输入映射到两个不同但相关的输出：${\hat{y}}^{(A)}=f({\mathbf{w}}^{(A)},\mathbf{x})$和${\hat{y}}^{(B)}=f({\mathbf{w}}^{(B)},\mathbf{x})$。
  • 我们可以想象，这些任务足够相似（或许具有相似的输入和输出分布），因此我们认为模型参数应彼此靠近：${\forall }_i,w_i^{(A)}$应该与$w_i^{(B)}$接近。
  • 我们可以通过正则化利用此信息。具体来说，我们可以使用以下形式的参数范数惩罚：$\Omega ({\mathbf{w}}^{(A)},{\mathbf{w}}^{(B)})=\Vert {\mathbf{w}}^{(A)}-{\mathbf{w}}^{(B)}{\Vert }_2^2$。
  • 在这里，我们使用$L^2$惩罚，但也可以使用其他选择。这种方法由Lasserre et al. (2006) 提出， 正则化一个模型（监督模式下训练的分类器）的参数接近另一个无监督模式下训练的模型（捕捉观察到的输入数据的分布）。这样构造的架构使得许多分类模型中的参数能与之对应的无监督模型的参数匹配。

参数共享

• 参数范数惩罚是正则化参数彼此接近的一种方式，在更流行的方法是使用约束：强迫某些集合中的参数相等。
  • 由于我们将各种模型或模型组件解释为共享唯一的一组参数，这种正则化方法通常被称为参数共享(parameter sharing)。
  • 参数共享相对于正则化参数接近（通过范数惩罚）的一个显著优点是，只有参数（唯一一个集合）的子集需要被存储在内存中。对于某些特定模型，如卷积神经网络，这可能可以显著减少模型所占用的内存。
• 卷积神经网络（Convolutional Neural Networks, CNNs）
  • 目前为止，最流行和广泛使用的参数共享出现在应用于计算机视觉的卷积神经网络 (CNN)。
  • 自然图像有许多统计属性是对转换不变的。例如，猫的照片即使向右边移了一个像素，仍保持猫的照片。
  • CNN通过在图像多个位置共享参数考虑这个特性。相同的特征（具有相同权重的隐藏单元）在输入的不同位置上计算。这意味着无论猫出现在图像中的第$i$列或$i+1$列，我们都可以使用相同的猫探测器找到猫。
  • 参数共享显著降低CNN模型不同参数的数量，并显著提高了网络的大小而不需要增加相应的训练数据。它仍然是将领域知识有效地整合到网络架构的最佳范例之一。

总结

参数绑定与参数共享是深度学习中重要的模型优化手段。参数绑定侧重于在模型的不同部分之间建立参数间的直接关联或约束，以利用它们之间的内在联系来减少冗余，常见于多任务学习、神经网络正则化等场景。而参数共享则更为直接，它允许模型的不同组件共享同一套参数，这在卷积神经网络（CNN）中尤为常见，如卷积层中的权重共享，极大地减少了参数数量，提升了处理图像等数据的效率。通过这两种方式，深度学习模型在保持甚至提升性能的同时，实现了更为紧凑、高效的架构设计，对于推动深度学习技术的广泛应用具有重要意义。

往期内容回顾

深度学习中的正则化技术 - 正则化和欠约束问题篇