虚拟对抗损失:一种对给定输入的条件标签分布的局部平滑度的新度量方法。模型对于输入的微小改变,它的输出不应该有很大的变动,对于小扰动有大的输出波动的模型会导致这个损失函数变大。通常过拟合的时候,会出现这种现象,所以可以把VAT看做是一种正则化的方法。
虚拟对抗训练就是要找一个使输出偏差最大的扰动方向,在这个方向上对输入产生扰动,再用于训练模型,使模型的局部平滑度增强。
以上公式展示了虚拟对抗训练的原理,表示某一个输入(或样本点),θ表示模型训练出来的参数,r表示对于这个输入的一个扰动。第一个式子使用与+r的输出分布的KL散度表示这两个分布之间的差异;第二个式子就是在r的L2范数小于一定值的情况下,找到使第一个式子最大的r,即找到使这两个分布差异最大的扰动方向,也就是找到训练模型在输入为时的局部分布最不平滑的方向;第三个式子就是,定义的局部分布平滑度(LDS)为:的最大扰动方向扰动后的输入的输出分布与输入的输出分布之间的KL散度的相反数。所以,LDS越大越好,这与我们事实上要让的局部分布越平滑越好是相对应的。