深度学习中的正则化技术 - 对抗训练篇

序言

在深度学习这片波澜壮阔的技术海洋中，对抗训练如同一股强劲的风暴，正深刻改变着模型鲁棒性与安全性的面貌。随着人工智能技术的飞速发展，尤其是在图像识别、自然语言处理等领域的广泛应用，模型的安全性问题日益凸显。对抗样本——那些经过精心设计，能够欺骗模型做出错误预测的输入数据，成为了衡量模型健壮性的一大挑战。对抗训练应运而生，它通过在训练过程中引入对抗样本，让模型学会在“攻击”中不断成长，从而提升其抵抗恶意输入的能力，确保模型在实际应用中的稳定性和可靠性。

对抗训练

• 在许多情况下，神经网络在独立同分布的测试集上进行评估时已经达到人类表现。因此，自然要怀疑这些模型在这些任务上是否获得了真正的人类层次的理解。为了探测网络对底层任务的理解层次，我们可以搜索这个模型错误分类的例子。

• 对抗样本 (adversarial example)

  • Szegedy et al. (2014b) 发现，精度达到人类水平的神经网络在通过优化过程故意构造的点上的误差率接近$100\%$，模型在这个输入点${\mathbf{x}}^{\prime }$的输出与附近的数据点$\mathbf{x}$非常不同。在许多情况下，${\mathbf{x}}^{\prime }$与$\mathbf{x}$非常近似，人类观察者不知道原始样本和对抗样本 (adversarial example)之间的差异，但是网络会作出非常不同的预测。见图例1。

• 对抗训练 (adversarial training)

  • 对抗样本有很多的影响，例如计算机安全，这超出了本章的范围。然而，它们在正则化的背景下很有意思，因为我们可以通过对抗训练 (adversarial training) 减少原有独立同分布的测试集上错误率——在对抗扰动的训练集样本上训练 (Szegedy et al., 2014b; Goodfellow et al., 2014b)。

• Goodfellow et al. (2014b) 表明，这些对抗样本的主要原因之一是过度线性。

  • 神经网络主要基于线性块构建的。
  • 因此在一些实验中，他们实现的整体函数被证明是高度线性。这些线性函数很容易优化。
  • 不幸的是，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。
  • 如果我们用$ϵ$改变每个输入，那么权重为$\mathbf{w}$线性函数可以改变$ϵ\Vert \mathbf{w}{\Vert }_1$之多，如果$\mathbf{w}$是高维的这会是一个非常大的数。
  • 对抗训练通过鼓励网络在训练数据附近的局部区域恒定来限制这一高度敏感的局部线性行为。
  • 这可以被看作是明确地向监督神经网络引入局部恒定的先验的方法。

• 对抗训练有助于说明积极正则化与大型函数族结合的力量。

  • 纯粹的线性模型，如逻辑回归，由于他们被限制为线性而无法抵抗对抗样本。
  • 神经网络是能够将函数从接近线性转化为局部近似恒定，从而可以灵活地捕获到训练数据中的线性趋势同时学习抵抗局部扰动。

• 对抗样本也提供了实现半监督学习的一种手段。

  • 与数据集中的标签不相关联的点$\mathbf{x}$处，模型本身为其分配一些标签$\hat{y}$。
  • 模型的标记$\hat{y}$未必是真正的标签，但如果模型是高品质，那么$\hat{y}$提供真正标签的可能性很大。
  • 我们可以搜索一个对抗样本${\mathbf{x}}^{\prime }$，导致分类器输出一个标签$y^{\prime }$且$y^{\prime }\ne \hat{y}$。
  • 不使用真正的标签，而是由训练好的模型提供标签产生的对抗样本称为虚拟对抗样本 (virtual adversarial example)(Miyatoet al., 2015)。
  • 分类器可以被训练成对$\mathbf{x}$和${\mathbf{x}}^{\prime }$分配相同的标签。
  • 这鼓励分类器学习一个沿着未标签数据所在流形上任意微小变化都是鲁棒的函数。
  • 驱动这种方法的假设是，不同的类通常位于分离的流形上，并且小的扰动不能从一类的流形跳到另一个类的流形。

• 图例1：在$\text{ImageNet}$上应用于$\text{GoogLeNet}$ (Szegedy et al., 2014a) 的对抗样本生成的演示。
  

• 图例1说明：

  • 通过添加一个不可察觉的小向量（其中元素等于代价函数相对于输入的梯度元素的符号），我们可以变$\text{GoogLeNet}$对此图像的分类结果。经Goodfellow et al. (2014b) 许可转载。

总结

• 对抗训练不仅是深度学习领域的一次重要创新，更是推动AI技术安全前行的重要力量。它迫使我们在追求高精度的同时，也要关注模型的防御能力，构建更加坚韧的智能系统。通过不断迭代与优化对抗训练方法，我们不仅能够提升模型对已知对抗攻击的抵抗力，还能在一定程度上增强其对未知威胁的泛化能力。
• 未来，随着对抗训练技术的持续演进，我们有理由相信，深度学习模型将能够在更加复杂多变的环境中稳健运行，为人类社会带来更加安全、智能的服务与体验。

往期内容回顾