论文阅读-Synthesizing Robust Adversarial Examples（EOT）

该文解决的问题：由于视角偏移、相机噪声和其他自然变换的组合，对抗攻击并不能以100%的攻击成功率欺骗物理世界中的神经网络分类器。该文证明了鲁棒的3D对抗对象的存在，并且提出了第一个算法（EOT），用于合成在选定的变换分布上具有对抗样本。作者生成了对噪声、失真和仿射变换具有鲁棒性的二维对抗图像。同时，当算法应用于复杂的 3D 对象，使用 3D 打印制造第一个物理对抗对象，这证明了物理世界中存在 3D 对抗对象。

该文的几个贡献：

• 开发了EOT，这是第一个产生鲁棒对抗样本的算法:对整个变换分布同时具有对抗性的单对抗性样本。
• 成功构建3D对抗样本。
• 制造了第一个3D物理世界对抗性对象，并表明它们欺骗了物理世界中的分类器，证明了所提出方法的端到端有效性，并表明了鲁棒物理世界对抗性对象的存在。

方法

首先，作者提出了Expectation Over Transformation（EOT）算法，这是一个通用框架，允许构建对抗样本，这些对抗样本在选定的转换分布 T 上保持对抗性。描述了一种端到端的方法，利用EOT的专门应用，结合3D渲染过程的差异性来生成对抗性物体。

通常对抗样本的求解可以表述为：

 这个构成方法生成对抗样本没问题，但是所生成的对抗样本在现实世界中（角度和视点变化）难以保持对抗性。为了解决这个问题，EOT采取的方法是在优化过程中对这种扰动进行建模。用的是一个符合给定分布T的函数t()。x'是对抗样本，t(x')就是分类器所接收到的输入。所以，对于物理空间来说，扰动应定义如下：

对抗样本生成方法定义如下：

 

 实际中，分布T可以对感知失真进行建模，如随机旋转、平移或添加噪声。

通过随机梯度下降来最大化目标。通过在每个梯度下降步骤独立采样变换近似期望值的梯度，并通过变换求导。

在2D的情况下，考虑变换的分布，包括通过加性因子重新缩放、旋转、变亮或变暗、添加高斯噪声和图像的平移。即，t(x)=Ax+b，这些随机变换很容易求导，可以直接应用EOT。且对于2D图像来说，EOT可以应对图像增强的场景。

在3D情况下，考虑与某些选定的 3D 对象（形状）相对应的纹理（颜色模式） x，并且选择变换函数 t(x) 的分布，该函数采用纹理并渲染 3D 对象的姿势。变换函数将纹理映射到对象的渲染图上，模拟对象的渲染、光照、旋转、平移和透视投影等功能。在真实的姿势分布上找到对抗纹理允许将对抗样本转移到物理世界。简单来说，就是提前将物理世界可能出现的情况模拟出来。即t(x)=Mx+b.

标准的3D渲染器，作为渲染管道的一部分，计算对应于屏幕坐标的纹理空间坐标;我们修改一个现有的渲染器来返回这些信息。然后，我们不通过渲染器进行微分，而是通过计算，然后通过t(x)=Mx+b进行微分。对于每个姿态，必须使用渲染器重新计算M和b，因为EOT在每个梯度下降步骤中都会采样新的姿态。

注：设f : A -----> B为一个映射,A叫做这个映射的定义域(domain),B叫做这个映射的陪域(codomain)(或称上域、到达域)

优化目标函数

作者并没有直接解决上面给出的约束优化问题，而是使带约束的拉格朗日松弛形式，其距离是在LAB颜色空间计算：

 接下来梯度下降就可以解决了。