Helper-based Adversarial Training: Reducing Excessive Margin to Achieve a Better Accuracy vs. Robust

文章研究了深度网络在对抗训练中引起的决策边界的变化，文章发现，对抗训练会导致某些对抗性的边界无端增加，从而损害准确性，基于这种现象，本文提出了一种新的的算法：Helper-based Adversarial Training （HAT）。通过在训练过程中加入额外的错误标记来减少这种影响，我们提出的方法在不影响鲁棒性的情况下，提高了显著的精度，与现有的防御相比，他在准确性和鲁棒性之间取得了更好的权衡。

本文的一个逻辑方向是：

首先，证明了AT会导致在标准训练网络计算的输入空间的敌对方向上的边缘余量过度增加；

其次，确定了过度的边缘余量与AT导致的精度下降之间的关系

最后，提出了新的AT方案来减少方向裕度，在不丧失鲁棒性的情况下，获得更好的准确性。

参数：

输入空间：

被参数化的神经网络,C 是输出类别的数量

:对x的预测的类

给定分类器，输入x和单位向量,沿方向的x处的边缘定义为：

 标准网络：只在干净样本上训练的网络；鲁棒网络：通过对抗训练训练的网络

初始对抗方向：

标准的网络,输入数据集

初始对抗方向的集合定义为：,

 AT会导致边缘剩余

首先在toy和cifar10上面进行实验，结果表明，AT在初始对抗方向上会导致多余的边缘增加，而不是达到所需鲁棒性象征性增加，其次，数据证明，边缘的增加和clean精度的降低之间存在直接的联系

采用两种理论来假设：沿着初始对抗方向的猛烈增长与clean精度降低直接相关的，在实际中，边缘越大，准确率的下降的也就越大

• 用Ortiz-Jimene等人的观察补充了假设：具有小边界的输入空间的方向，以及在标准网络情况下的初始对抗方向，与网络学习到的鉴别特征相关。这些方向对于网络的性能是至关重要的，因此沿着这些方向急剧增加的边缘余量可能是clean精度降低的原因。
• 第二，我们使用TRADES 在CIFAR-10上训练一个鲁棒网络，使用不同的权衡参数β值。随着β的增加，我们观察到沿Rinit的裕度增加和相应的清洁精度降低，这进一步证实了我们的假设。最后，我们也承认，在TRADES的情况下，随着边缘余量的增加，稳健准确性也会提高。

Helper-based Adversarial Training

对抗训练在初始对抗方向上引发了无理由裕度增加，从而阻碍了网络在这些方向上使用高度鉴别特征，本文提出了一种Helper-based AT简称HAT，以减少过多的方向裕度，为此，引入了额外的训练样本，称为helper样本，这些样本是在对抗训练过程中动态生成的，特别是，通过外推训练过程中发现的对抗扰动来构造一个helper样本，并且（可能是错误的）被一个标准训练的网络标记，

通过让网络预测对抗样本的正确标签yi。沿任何对抗性方向推进至决策边界，并在helper样本上预测以相对保留标准网络所建模的鉴别特征，与对抗性训练相反，这允许在某种程度上防止不期望的裕度过度增加，从而可以在干净样本上实现显著更好的性能。

与现有的对抗训练方案相比，HAT持续降低了准确性和鲁棒性之间的差距约2-4%。

loss

loss由三部分组成：

1. clean样本上的CE损失
2. 以标量加权的对抗样本上的KL发散损失
3. 以加权的helper样本上的额外CE损失

HAT算法：