关于PGD(映射式梯度下降)对抗训练的理解

在生成对抗样本这个应用场景下，对抗样本的最优境界是足以迷惑模型，对人眼却没有产生可视的变化。这意味着样本需要在原样本的L_2或者L_inf球内产生。这时，使用PGD会带来两点不足

一、PGD方法本身最适用于凸集，凸集中只有唯一的本地最优，也即为全局最优，那么本地最优的问题就得以避免。然而，目前观察表明样本空间对于坡度来说并不是凸集，存在多个本地最优，那么遇到非全局最优的本地优化就是难免的

二、除此之外，另有一种小概率情况会带来较差的结果。如果通往一个本地最优点的gradient通道在球内，然而这个本地最优点本身却在球外，那么PGD会在半坡上遇到边界，从而连本地最优也无法达到

**这两点意味着PGD的运行结果是较不稳定的，需要多次随机初始化，取最优的一次作为最终输出，而现实中也确实是这样做的。**在Mnist challenge的榜上，排名很高的PGD使用了50次随机初始化，并且发布PGD攻击的论文里似乎也是直接将多次随机初始化的过程作为PGD攻击算法必要的一部分，没有随机初始化的版本叫做Basic iterative method attack, BIM。这对PGD的最终性能并没有影响，但是所需的多次初始化对于训练时间而言显然是不利的。