来源:ATYUN AI平台
日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到的完全不同的东西。九州大学的研究人员正在研究两个目标:首先,可预见地欺骗一个深度神经网络(DNN),其次是尽可能地自动化它们的攻击。
换句话说,怎样才能让人工智能看到汽车的图像,并把它归类为狗呢? 令人惊讶的答案是:一个像素的敌对干扰就能做到这种欺骗手段,而且这种攻击是你不可能用肉眼察觉到的。
在arXiv上发表的一项新研究描述了一种称为“差分进化算法”(DE)的技术,它可以有效地识别出最佳像素,从而混淆人工智能将图片错误地标记(论文测试了对单个像素、3个像素和5个像素的攻击)。自然地,像素越多,攻击效果就越好:通过在一个1,024像素的图像中改变一个像素,该软件可以在74%的时间中欺骗人工智能。如果调整了5个像素,那么这个数字就会上升到87%。研究人员最后得出了一个惊人的结论:单像素的攻击对近四分之三的标准训练图像起了作用。不仅如此,科学家们不需要知道深度神经网络内部的任何东西——就像他们说的那样,他们只需要它的“黑箱”的概率标签就能发挥作用。
- arXiv研究:https://arxiv.org/abs/1710.08864
精心挑选的像素意味着“每个自然图像平均可以被其他2.3个类所干扰”。
最好的结果是训练组里的一只狗的图像,研究人员成功地将深度神经网络分类为所有9个“目标”类——飞机、汽车、鸟、猫、鹿、青蛙、马、船和卡车。
训练集的图像,通过改变一个像素将图片错误地分类。图片出自:arXiv
盯着测试图像,你会注意到单像素攻击是针对仅有1024像素的图像进行的。1024像素的图像非常小,这意味着更大的图像需要数百个像素的调整。但是,用尽可能少的变化来让将人工智能“推到”的努力是有趣的,也是令人担忧的。找到一种方法来保护人工智能不受这些小伎俩的困扰是非常困难的,因为我们仍然无法真正理解深层神经网络的内部运作机制。
本文转自ATYUN人工智能媒体平台,原文链接:欺骗图像识别技术,只需改变一个像素即可将狗变成汽车
更多推荐
BenevolentAI:设立BenevolentAI奖的第二年