Paper review: Adversarial Examples In The Physical World

Summary

论文首先引入了一种比 FGSM 更加精细的生成对抗本的迭代方法 PGD。该方法是选择一个原样本预测结果中最不可能的分类 $y_{LL}$，进行下述迭代：
x 0 a d v = x ， x N + 1 a d v = C l i p x , ϵ { x N a d v − α   s i g n ( − ∇ x J ( x , y L L ) ) } \boldsymbol{x}_0^{adv}=\boldsymbol{x}， \boldsymbol{x}_{N+1}^{adv}=Clip_{\boldsymbol{x},\epsilon}\{\boldsymbol{x}_{N}^{adv}-\alpha \,sign\big(-\nabla_\boldsymbol{x}J(\boldsymbol{x},y_{LL})\big)\} x0adv​=x，xN+1adv​=Clipx,ϵ​{xNadv​−αsign(−∇x​J(x,yLL​))} 并在 Inception v3 分类器上进行比较 FGSM，basic iterative，PGD 三种方法生成的对抗样本的预测准确率。实验结果表明 PGD 方法明显优于其他两种方法。

论文接下来研究了对抗样本对物理世界运转的机器学习系统的影响，即使用不同的对抗样本生成方法来生成对抗样本，再打印出来图像即 “Photo transformation”，来对比 Photo transformation 对不同方法生成的对抗样本的影响。实验结果表明，越精细的对抗样本生成方法，如 PGD，越容易被 Photo transformation 抵消，越简单的对抗样本生成方法，对 Photo transformation 表现越健壮。

最后，论文使用精确的图像变换方法，change of contrast and brightness, Gaussian blur, Gaussian noise, and JPEG encoding，来进行上述类似 Photo transformation 的对比实验。实验结果与上述实验结果相符合，并且发现 Blur, noise and JPEG encoding 变换有抵消了高达 80%-90% 的对抗样本的攻击。

Strength

1. 论文提出了一种更加高级的对抗样本分类方法 PGD，该方法有较强的对抗攻击性。

Weakness

Comment

论文中吸引人的除了 PGD 方法之外就是图像变换有抵消对抗样本的对抗性的效果，比如，Blur, noise and JPEG encoding 变换抵消了高达 80%-90% 的对抗样本的攻击。这令我联想到一种对抗攻击的防御方法是使用某种压缩数据的方法，直接对每个输入到分类器中的数据进行预处理。