对于机器学习对抗性攻击 百度安全已经掌握了这些套路

“我相信小度的判断”来自百度硅谷实验室的首席科学家吴恩达博士斩钉截铁的说道。

这一桥段对于看过《最强大脑（第四季）》的观众朋友们绝对不会陌生。在完全没有被告知20位嘉宾中存在双胞胎的情况下，小度不仅通过孩童照片识别出其主人是这对双胞胎中的一人，更标注出这张照片与两人的相似度差别是万分之一。

事实上，百度的人工智能技术并不止应用于比赛上，其无人驾驶技术、语音识别技术，乃至于在会场、展馆的安保监控的应用，都让人啧啧称奇。实际上，尽管在规则清楚的情况下，计算机可以做的很漂亮，但在面对诸如“这个东西像什么”之类的模糊性问题时，计算机却需要很长时间才能进行回答。如此超神的人工智能在面对“像不像”的问题上却是一脸茫然，这不由得产生了一股奇异的“萌感”，但也引出了吃瓜群众的另一点担忧——小度这方面的空白会不会被“别有用心”的人抓住，从而“欺骗”小度呢？

探访百度美研 机器如何进行图片识别

带着这样的问题，虎嗅探访了百度位于硅谷森尔(Sunnyvale)波尔路(Bordeaux Dr)1195 号的美国研究室(简称“百度美研)，来自安全部门 X Lab 的技术人员仲工程师向我们介绍了百度人工智能的图片识别技术。

除了安全实验室 X Lab 之外，百度美国的人工智能和无人汽车研发团队也在这里办公。虎嗅在场地内轻易的发现了百度无人汽车等众多“黑科技”产品，智能生活的氛围不可谓不浓重！仲工程师从DenseCap谈起，为我们慢慢揭开人工智能的神秘面纱。

简单来说，机器学习或深度学习对图片中的对象进行识别，不仅仅是占画面大部分的猫，还有滑板、木地板，而且可以识别出是“桔黄色有斑点的猫”、“有红色滚轮的滑板”以及“棕色的硬木地板”。这些都是通过对机器不断训练，进行深度学习的结果，具体的原理是通过算法，同时让机器不断辨别不同的图片，并对错误进行纠正，最终形成可以识别各种图像内容的强大能力。

人工智能也会被骗？还好这一点是百度安全工程师说的

除了如何让机器进行深度学习外，仲工程师还向我们介绍了更令人震惊的内容——一项更高阶的人工智能技术，基于加州大学伯克利分校 (UC Berkeley) Liu Chang 博士不久前在 GeekPwn 大会上发布的“探索对抗性深度学习的新攻击手段” (Exploring New Attack Space on Adversarial Deep Learning)，这一点可以说是关乎到进一步提高人工智能图像识别能力的可靠度和安全性。

“但在对象识别(Object Detection)这个环节是可以被利用进行攻击的，” 仲工程师强调，“用特殊处理的图片，能够让人工智能系统进行错误识别。”

仲工程师列举了大量的示例为我们展示，比如上面的两种图虽然用肉眼来看几乎一模一样，但是右边的那一张实际上是经过处理用于攻击所采用的照片。可以看到，两张图片的对象识别结果有很大不同。也就是说，虽然两张照片看起来没什么区别，但是机器的识别结果并不一样。这也就是攻击的“漏洞”所在。

基于本文如上所述，我们不难联想到这种攻击方式在具体场景中的应用。比如使用了图像识别技术的监视系统，理论上入侵者可以“迷惑”系统识别的结果，或者是采用了图像识别技术的身份验证系统，从理论上讲入侵者可以使用两张人眼看起来差不多的图片，让系统识别成不同的两个人。“比如我拿一张自己的照片，处理之后系统可能就会把我识别成你。”仲工程师对虎嗅说道。

“这种针对人工智能的攻击方法，实际上“攻击图片”的技术处理、实现的环境都需要极高的要求。”仲工程师表示，这种攻击方式并不是非常严重的问题，而且百度安全已经对这种攻击套路进行了深刻的了解，同时也在尝试依托人工智能技术来对这种攻击方式进行预判。

人工智能是当今最为火热的尖端技术，但随着“对抗性深度学习的新攻击手段”的披露，也再次敲响了安全的警钟。不可否认，人工智能是科技未来，但只有在安全的前提下，人工智能才能更好的服务于社会，这一点更应该获得关注。