对于人眼来说,图片没有发生变化,还是熊猫
但是!对于训练好的模型来说,这个样本会被分类为猴子
不只是神经网络,线性模型也会被攻击,下图圈出来的“9”已结不再被模型认为是“9”了
这种表明看起来没有区别的对抗样本,不是由于模型的过拟合引起的。过拟合应该是随机的,而不是具有系统性。
相反,是由于欠拟合(线性)导致,在离决策边界远的地方分数很高(即使从没有那样的样本)
神经网络事实上就是分段线性的(指的是输入和输出之间是线性的)
下图显示预测分数与图像改变量之间呈线性关系
对于人眼来说,图片没有发生变化,还是熊猫
但是!对于训练好的模型来说,这个样本会被分类为猴子
不只是神经网络,线性模型也会被攻击,下图圈出来的“9”已结不再被模型认为是“9”了
这种表明看起来没有区别的对抗样本,不是由于模型的过拟合引起的。过拟合应该是随机的,而不是具有系统性。
相反,是由于欠拟合(线性)导致,在离决策边界远的地方分数很高(即使从没有那样的样本)
神经网络事实上就是分段线性的(指的是输入和输出之间是线性的)
下图显示预测分数与图像改变量之间呈线性关系