鲁棒性问题——醍醐灌顶之作

最新推荐文章于 2023-08-09 23:33:15 发布

wuxianfeng1987

最新推荐文章于 2023-08-09 23:33:15 发布

阅读量940

点赞数

分类专栏：机器学习&深度学习文章标签：深度学习机器学习计算机视觉

本文链接：https://blog.csdn.net/wuxianfeng1987/article/details/125203227

版权

本文探讨了对抗性样本的本质，指出它们源于数据集的属性而非网络架构问题。Adi Shamir的理论揭示，对抗性样本是由于图像流形和高维空间的不匹配造成的。通过对抗性训练，可以增强网络的鲁棒性，即使在面对对抗性样本时也能保持稳定性能。

摘要由CSDN通过智能技术生成

Adversarial Examples Are Not Bugs, They Are Features

核心观点：
1、对抗性样本的存在不是网络架构的问题，而是数据集的一个属性
2、分类相关性特征分鲁棒特征和非鲁棒特征训练都有想当的精度
3、只有鲁棒特征，稳定性高，也就是不怕对抗样本，但精度会有所下降
4、鲁棒特征+非鲁棒特征会辅助提高模型精度，但非鲁棒特征会不稳定

假设神经网络的输入是 n 维空间内的向量，向量每一个维度分别代表特定的语义，其值处于 0-1 之间。然而，所有的自然图像都位于嵌入在大的 n 维空间的低维流形上。这样的流形是十分光滑的，图像之间存在边界，局部流行之间的分布可能是非均匀的。流形对图像嵌入到整个输入空间中的方式给出了一些约束。相较于原始输入向量，自然图像可以以极小的质量损失被压缩到非常小的尺寸。

在缺乏对低维流形先验知识的情况下，深度神经网络试图在 n 维空间中生成（n-1）维的决策边界，从而将空间分成两个部分。决策边界不必一定连接在一起，可以分成若干段，决策边界的质量仅仅由其在 k 维图像流形上的性能决定（k 远小于 n）【理解：针对目标图像的维度，虽然图像是n维，但实际上数据信息分布仅有k维，就像平面虽然在3维中，但实际信息仅2维】

决策边界只需要在空间中的很小一部分上具有非常好的性能即可，在其它部分网络可以选择位于任意位置的决策边界，此时网络不必添加额外的惩罚。此外，网络还可以利用额外的 n-k 个维度，从而使其在流形上的性能更好。

Adi Shamir 认为，正是由于较小的 k 维图像流形和较大的 n 维空间之间的错误匹配导致了对抗性样本的产生。