前提引言
深度神经网络的技术不成熟性主要在于模型的不可解释性,从模型的训练到测试阶段都存在安全问题。训练阶段主要是数据投毒问题,通过在训练数据中添加一些恶意的样本来误导模型的训练结果。测试阶段的安全问题主要是对抗样本,在原始样本中添加人眼不可察觉的微小扰动就能够成功骗过分类器造成错误分类。
对抗样本
![f81e8e9d2124c9c3d42ffa23d4b305f7.png](https://i-blog.csdnimg.cn/blog_migrate/529a4519eba21de2c9720bb646598170.jpeg)
2014年,Szegedy等人[1]发现神经网络存在一些反直觉的特性,即对一张图像添加不可察觉的微小扰动后,就能使分类器误分类(图2),并将这种添加扰动的样本定义为对抗样本。理论上来说,使用深度神经网络的模型,都存在对抗样本。从此AI对抗开始成为了人工智能的一个热点研究。
![f8accc8eedd8097be11a0713aa1b9180.png](https://i-blog.csdnimg.cn/blog_migrate/4febf72f96b2a0368dba85b29d72bd10.jpeg)
计算机视觉
Szegedy首次发现深度神经网络存在对抗样本是在图像分类的背景下,对原始图片添加微小的像素扰动,就能导致图像分类器误分类,且该微小扰动对人眼是不可察觉的。目前对抗攻击在图像分类领域已较为成熟,不仅提出了针对单一图像的攻击