数据增强之从对抗训练（AT）到自对抗训练（SAT）

千天夜

已于 2024-12-25 15:07:52 修改

阅读量1.4k

点赞数 15

分类专栏：知识积累 YOLO模型相关文章标签：深度学习人工智能卷积神经网络学习机器学习 YOLO 计算机视觉

于 2024-12-25 15:05:36 首次发布

内容如果有帮到你，求求给个点赞关注思密达~

本文链接：https://blog.csdn.net/qiantianye/article/details/144718187

版权

近年来，对抗样本（Adversarial Examples）及其防御方法成为计算机视觉（CV）领域的研究热点。对抗训练（Adversarial Training）作为最有效的防御机制之一，通过在训练过程中引入对抗样本，提高模型的鲁棒性。而自对抗训练（Self-Adversarial Training）则在对抗训练的基础上，进一步降低计算成本。

本文将以 CV 算法为例，由浅入深地介绍对抗训练与自对抗训练的核心思想、公式推导、优缺点对比及改进方向。

（1）FGSM（Fast Gradient Sign Method）

（2）PGD（Projected Gradient Descent）

一、对抗训练：核心思想与公式推导

对抗训练的目标是在训练过程中生成最具挑战性的对抗样本，从而提升模型的鲁棒性。

1. 对抗训练的核心公式

对抗训练的优化目标是一个双层优化问题：

$\min_{\theta} \mathbb{E}_{(x,y) \sim \mathcal{D}} \left[ \max_{\delta \in \Delta} \mathcal{L}(f_\theta(x + \delta), y) \right]$

参数说明：

$x \in \mathbb{R}^{H \times W \times C}$ ：输入图像，其中 $H$ 是高度， $W$ 是宽度， $C$ 是通道数（如 RGB 通道）。
$y$ ：标签，表示输入样本的真实类别。
$\delta \in \mathbb{R}^{H \times W \times C}$ ：对抗扰动，表示每个像素点的扰动大小。
$\Delta$ ：扰动的约束集合，通常规定 $\|\delta\|_p \leq \epsilon$ 。

公式 $\|\delta\|_p \leq \epsilon$ 的含义是对抗扰动 $\delta$ 的大小受 p-范数约束。

$\|\delta\|_p$ 是向量 $\delta$ 的p-范数

定义为：

$\|\delta\|_p = \left( \sum_{i=1}^n |\delta_i|^p \right)^{\frac{1}{p}}$

这里， $\delta_i$ 是向量中第 i 个分量，n 是总分量数（例如图像中所有像素点的总数）。

当 $p=2$ 时，这是欧几里得范数（ $L_2$ -范数），表示扰动的平方和的平方根。

当 $p=\infty$ 时，这是最大范数（ $L_\infty$ -范数），表示所有分量的最大绝对值。

$\epsilon$ 是扰动的最大允许幅度：