虚拟对抗训练（VAT）：一种用于监督学习和半监督学习的正则化方法

虚拟对抗损失：一种对给定输入的条件标签分布的局部平滑度的新度量方法。模型对于输入的微小改变，它的输出不应该有很大的变动，对于小扰动有大的输出波动的模型会导致这个损失函数变大。通常过拟合的时候，会出现这种现象，所以可以把VAT看做是一种正则化的方法。

虚拟对抗训练就是要找一个使输出偏差最大的扰动方向，在这个方向上对输入产生扰动，再用于训练模型，使模型的局部平滑度增强。

以上公式展示了虚拟对抗训练的原理，表示某一个输入（或样本点），θ表示模型训练出来的参数，r表示对于这个输入的一个扰动。第一个式子使用与+r的输出分布的KL散度表示这两个分布之间的差异；第二个式子就是在r的L2范数小于一定值的情况下，找到使第一个式子最大的r，即找到使这两个分布差异最大的扰动方向，也就是找到训练模型在输入为时的局部分布最不平滑的方向；第三个式子就是，定义的局部分布平滑度（LDS）为：的最大扰动方向扰动后的输入的输出分布与输入的输出分布之间的KL散度的相反数。所以，LDS越大越好，这与我们事实上要让的局部分布越平滑越好是相对应的。