神经网络被麻省理工新方法“欺骗”

美国麻省理工学院的科研人员提出了一种新方法，其构建的3D物体可有效“欺骗”当前人工智能所依赖的神经网络。

以“神经网络”形式出现的人工智能（AI）被越来越多地用于自动驾驶汽车等技术中，以便能够观察并识别物体。这样的系统甚至可以帮助完成诸如在机场安检线路中识别爆炸物的任务。但从很多方面来说，它们是一个黑匣子，因为开发它们的研究人员并不知道它们究竟是如何工作的，也不知道如何去欺骗它们。例如，想象一下，如果一个恐怖分子可以对炸弹的物理设计进行小小的调整，从而可以逃过运输安全管理局（TSA）装置的侦测，将会是多么恐怖的事情。

虽然我们距离出现这样的场景还有较长的时间，但麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员指出了这种风险会有多大的提升：在一篇新论文中，他们展示了有史以来第一个能够生成真实世界3D对象，并使其能够持续欺骗神经网络的方法。该团队表示，他们不仅能欺骗一个神经网络，使其将一把枪识别成其他东西：他们实际上可以使神经网络将一个物理对象分类为任何他们指定的东西。通过稍微改变物体的质地，该团队提出的方法可以制造一个炸弹，而这个炸弹将被归类为番茄；或者可以使物体完全不可见。例如，团队3D打印了一个玩具乌龟和一个棒球。无论神经网络从哪个角度观察它们，都分别将它们识别成了步枪和浓缩咖啡。

相关研究人员表示：这项工作清楚地表明，神经网络的工作方式已经被破解。开发这些系统的研究人员需要花费更多的时间来考虑防御这种所谓的“敌对例子”。如果我们想利用神经网络实现安全的自动驾驶汽车和其他系统，就需要对这个研究领域进行更多的关注和研究。

这个项目建立在越来越多“敌对例子”的基础上。多年来，研究人员已经能够证明像素的变化可以欺骗神经网络，但是这样的边缘案例往往被归因为一种智力上的好奇心，而不是现实世界中需要关注的某种东西。这主要是因为研究人员大多只能使用静态的二维图像来欺骗系统-而当你移动一个三维物体时，神经网络可以找到适当的角度，以便对物体进行准确分类。

与此同时，麻省理工学院团队的新方法可能会产生敌对例子，导致无论怎样扭曲或重新定位对象，都能够继续欺骗具有任意变换分布的神经网络。开发该方法需要考虑一系列复杂的问题，包括照明和相机噪音等。研究人员告诫说：没有证据表明这种操纵是真实存在的。3D打印是乏味、复杂和昂贵的，而且还有其他一些因素会使得诸如伪装炸弹之类的事情变得非常难以完成（假定运输安全管理局使用X射线成像技术）。但是该团队仍然渴望指出这种可能性是存在的，目的只是为了强调问题的严重性，并让研究深度学习的人意识到他们的创造是存在限制的。