对抗学习总结：FGSM-＞FGM-＞PGD-＞FreeAT, YOPO -＞FreeLb-＞SMART-＞LookAhead-＞VAT

对抗训练基本思想——Min-Max公式

中括号里的含义为我们要找到一组在样本空间内、使Loss最大的的对抗样本（该对抗样本由原样本x和经过某种手段得到的扰动项r_adv共同组合得到）。这样一组样本组成的对抗样本集，它们所体现出的数据分布，就是该中括号中所体现的。
外层min()函数指的则是，我们面对这种数据分布的样本集，要通过对模型参数的更新，使模型在该对抗样本集上的期望loss最小

对抗训练的核心步骤是：
用被对抗性样本污染过的训练样本来训练模型，直到模型能学习到如此类型的抵抗。从而保证模型的安全性，在自动驾驶和图像识别领域，保证模型的安全性尤为重要。

如何找到最佳扰动r_adv呢？
很简单——梯度上升。所以说，对抗训练本质上来说，在一个step中，实际上进行了两次梯度更新，只不过是被更新的对象是不同的——

首先先做梯度上升，找到最佳扰动r，使得loss最大；
其次梯度下降，找到最佳模型参数（所有层的模型参数，这一步和正常模型更新、梯度下降无异），使loss最小。 具体情况如图所示：