本文介绍了对抗训练的基本概念，包括其数学表达式和FGM方法，以及虚拟对抗训练，一种不需要标签的增强模型鲁棒性的技术。虚拟对抗通过调整目标函数和使用KL散度来实现，可用于预训练和微调阶段。
对抗训练
从苏神blog整理，记录下加深记忆，原始链接
虚拟对抗训练即在模型的训练过程中对输入 x x x人为的增加扰动，增加最终模型的鲁棒性。最早的对抗训练可以统一写成如下格式：
min θ E ( x , y ) D [ max △ x ∈ Ω L ( x + △ x , y ; θ ) ] \min_\theta E_{(x, y)~D}[\max_{\triangle x \in \Omega}L(x+\triangle x, y; \theta)] θminE(x,y) D[△x∈ΩmaxL(x+△x,y;θ)]
其中 D D D代表训练集， x x x代表输入， y y y代表标签， θ \theta θ是模型参数， L ( x , y ; θ ) L(x, y;\theta) L(x,y;θ)是单个样本的loss， △ x \triangle x △x是对抗扰动， Ω \Omega Ω是扰动空间。这个统一格式有论文《Towards Deep Learning Models Resistant to Adversarial Attacks》提出。
分步理解如下：
如上图所示， △ x \triangle x
最低0.47元/天 解锁文章
扫一扫
616
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
