【论文笔记】 Synthesizing Robust Adversarial Examples

Synthesizing Robust Adversarial Examples

本文参考了这篇文章

abstract：由于视点转换、摄像机噪声和其他自然变换的组合，生成神经网络对抗性例子的标准方法并不能一直愚弄物理世界中的神经网络分类器，限制了它们与现实世界系统的相关性。我们证明了稳健的三维对抗性对象的存在，并且我们提出了第一个算法，用于合成在一个选定的变换分布上对抗样本。我们合成了对噪声、畸变和仿射变换具有鲁棒性的二维对抗图像。我们将我们的算法应用到复杂的三维对象，使用3d打印制造第一个物理对抗对象。我们的结果证明了在物理世界中三维对抗对象的存在。

简介： 作者Athalye等人在分析前人相关对抗样本生成工作后，在物理环境变换方向做了更深入的研究。分别针对2D，3D以及真实世界等环境中对抗样本的生成和有效性提出问题。该工作提出了变换期望算法（Expectation OverTransformation, EOT）这一框架。模拟具体环境（包括2D,3D），同时作者基于此框架提出了一种对抗样本生成算法，生成的样本在各种视角和给定的环境条件分布中都有着较好的鲁棒性。同时基于此框架在3D打印技术的支持下生成了真实世界的对抗对象，证明了3D对抗对象的存在。

Approach： 该方法通过优化目标函数方法实现，为了使生成的对抗样本在各种各样的变换分布中有着较强的鲁棒性，引入了EOT框架，EOT的目的是约束敌对输入与原始输入之间的预期有效距离：

其中T表示变换分布，对于任意变换函数 t ，分类器的输入由原始对抗样本 x’ 变为 t(x’)。T扭可以表示扭曲，随机旋转，转换，或者添加噪声。但是这个T并不是简单的转换，还可以操作执行3D渲染。
在标准的有目标白盒攻击情况下，对抗样本是通过在限制转换分布的条件下最大化目标类别的似然得到的：

通过随机梯度下降（SGD）来最大化目标，在每个梯度下降步上独立地采样变换，并通过变换进行微分。
2D的转换分布类似于线性转换，而3D的转换较为复杂，需要将纹理映射到对象的渲染中，模拟对象的渲染、光照、旋转、平移和透视投影等功能。为了更好地起到优化的效果，在优化目标函数的过程中使用了 Lagrangian-relaxed（拉格朗日松弛）方法，同时使用LGB空间距离作为原始与输出距离：

一旦EOT被参数化，即确定了分布T。EOT框架可以优化分布 T 下的样本得到对抗样本。

实验部分： 作者为不同的实验环境使用不同的变换分布。在2D环境下，作者使用的变换分布包括缩放、旋转、光照、高斯噪音等变换，变换的期望所生成的对抗样本是通过从这些变换分布中随机采样1000个变换计算得到。图1是2D对抗样本示例。在3D环境下，作者通过3D渲染建模来模拟变换，考虑了相机距离、横向平移、物体旋转、纯色背景，随机采样了100个变换来表示分布，图3是3D对抗样本示例。在3D物理环境下，作者使用3D模型打印制造对抗样本模型，考虑了各种角度、背景下的对抗样本分类，图3是物理环境3D对抗样本的示例。
图2：

讨论：

• Perturbation budget：产生成功的对抗性例子所需要的扰动取决于所选择的变换的分布。一般来说，分布越大，所需的扰动越大。
• Modeling perception：提出的EOT算法提出了一种在选择的感知分布上构造对抗样本的一般方法，但值得注意的是，不能保证观察到的图像以外的选择分布，在构建物理世界的对抗对象时，我们使用了一个粗略的近似值来渲染和捕获过程，这成功地确保了在不同环境下的健壮性。
• Error in printing：打印机在色彩精确度上的问题存在影响，模拟颜色误差作为粗粒度转换分布是一个好的解决办法。
• Semantically relevant misclassification：语义相关的错误分类，对抗目标类并不一定是top-1预测率，一般在与目标类语义相关的类别预测率也会较高。
• Limitations：干扰范围不能先在过小，转换分布的范围不能过大。
• Imperceptibility

**总结：**与摘要一致