把乌龟识别成枪，MIT CSAIL提出用3D模型生成对抗样本的新方法

CSAIL 研究人员在一篇新论文中首次展示，生成真实世界 3D 对象，可以持续地「误导」神经网络。

神经网络越来越广泛地应用于自动驾驶等技术，帮助看见和识别目标。此类系统甚至可以帮助完成机场安检识别爆炸物的任务。

但是从很多方面来讲，这是个黑箱，开发它们的研究者不知道其工作方式或为何会被误导。

想象一下，如果一个恐怖分子在炸弹的设计上进行了一些微小的调整，它就可以逃脱 TSA 设备的检测。

尽管我们已经很多年没有见过这样恐怖的场景了，但是本周 CSAIL 研究人员证明这样的风险有多高：他们在一篇新论文中首次展示了一种方法，生成真实世界 3D 对象，这些 3D 对象可以持续地误导神经网络。

该团队证明他们不仅能够使神经网络认为「枪不是枪」，事实上还可以使神经网络将物体识别为他们想要它识别的任何物体。对物体进行少许修改后，该团队的方法可以生成一个被神经网络分类为西红柿的炸弹，甚至有可能使该物体彻底「隐形」。

例如，该团队通过 3D 打印制作了一个玩具乌龟，被神经网络错误分类为枪，篮球被分类为咖啡，无论网络从任何视角识别。

「这项研究清楚地表明我们对神经网络的工作方式的理解出现突破点，而开发了这些系统的研究者还需要花费更多的时间思考如何应对这些对抗样本的干扰。」在读博士生同时也是该论文主要作者的 Anish Athalye 说道，「如果想要使自动驾驶汽车或其它利用神经网络的系统保证安全，需要在这个领域投入更多的研究。」

该项目将投入越来越多的努力到「对抗样本」的研究中。多年以来，研究者不断地发现像素的改变可以误导神经网络，但这样的极端案例通常只被当成满足好奇心的探索，而不是现实中需要担忧的问题。

这很大程度上是因为多数研究者只能用 2D 静态图像误导系统，因为当转动一个 3D 物体时，网络可以找到关键的棱角从而能准确地识别它们。

然而，该 MIT 团队的方法可以在任意选定的转换分布中生成误导网络的对抗样本，无论在分布中如何将物体扭曲或者重新定位。（开发这个方法需要考虑很多复杂因素，从光照到摄像头噪声。）

该论文目前正接受 ICLR 2018 的审核。