[论文笔记]Universal adversarial perturbations(CVPR 2017)

Universal adversarial perturbations(CVPR 2017)

  • 文章简介:
    本文主要是介绍了一种universal的扰动,能让大部分图片加入该噪声后就能被误分类,扰乱一个新的数据点只需要向图像添加一个普遍的扰动(不需要解决优化问题/梯度计算)。其示意图如下
  • Norm:
    • 2-范数: ξ=2000\xi=2000
    • 无穷范数: ξ=10\xi=10

  结果如下:其中的Val.是不参与universal扰动的计算的,可以看到性能相当好

  • Contribution:

    • 证明了state-of-the-art模型中存在universal image-agnostic扰动
    • 提出了一种寻找universal扰动的算法
    • 发现universal扰动有一定的泛化能力:只用一个非常小的training points就能愚弄一张新图像
    • 我们证明这种扰动不仅在图像上是普遍存在的,而且在深度神经网络上也能很好地推广。因此,这种扰动在数据和网络体系结构方面具有双重普遍性。
    • 通过研究决策边界不同部分之间的几何相关性,解释和分析了深度神经网络对普遍扰动的高脆弱性。
  • 目标函数

  其中μ\mu是图像的分布,vv是我们要加的universal扰动

  更详细地说,如果当前的vv不足够扰动xix_i,就会再去寻找一个Δv\Delta v,其要解决的优化问题为

  为了满足vpξ||v||_p \leq \xi约束,作者将v+Δviv+\Delta v_i投影到一个半径为ξ\xilp\mathcal{l}_pball上,具体为:

  下面该式返回的是vv', 其实简单地说,其实就是用一个个半径为ξ\xilp\mathcal{l}_pball去尽量接近vv。[注意这个ball不是圆形球的意思]

  有趣的是,在实际操作中,XX中数据点mm的数量并不需要很大就足够一个对整个分布uu有效的普遍扰动。最终算法为:

  需要进一步注意的是,算法1的目标并不是找出欺骗分布中大多数采样数据点的最小的universal扰动,而是找到一个范数足够小的universal扰动。
  • Universal扰动
    • 同一网络的不同初始化得到的扰动结果不唯一,虽然有点相似
    • 不同网络得到的扰动结果也不一样
  • The size of training set:

    • 如果用于计算扰动的训练集只有500张图,则可以成功攻击验证集中30%的图片
    • 如果用于计算扰动的训练集有1000张图,则可以攻击在验证集中更多的未见过的图片,甚至在这1000张图中都没有出现过那个类别的图片
  • Cross-model universality:

  证明了本文提出的universal扰动是doubly-universal

  • Adversarial trainning robust
    作者将VGG-F模型进行fine-tune,即原训练集有50%的概率被加上universal扰动,然后训练了5个epoch。训练完后,再用Algorithm 1在fine-tune后的模型上计算universal扰动,结果在验证集上的成功率从93.7%到了76.2%。为了试验多次fine-tune的用处,作者又重复了上面这个流程,从10个另外的扰动继续进行fine-tune,但是后面再进行攻击时,成功率差不多还有80%,所以有一个结论: 简单地处理无法对small universal扰动形成一定的免疫能力

  • 奇异值:
    奇异值的通俗理解(转自知乎):奇异值往往对应着矩阵中隐含的重要信息,且重要性和奇异值大小正相关。每个矩阵A都可以表示为一系列秩为1的“小矩阵”之和,而奇异值则衡量了这些“小矩阵”对于A的权重。

    作者计算了N矩阵与随机矩阵的奇异值:

  结果如下:

  对这个图我是这么理解的:Index表示的是奇异值的排序位数,理所因当,第1个特征值最大,后面递减。可以发现的是,在曲线的开始阶段,奇异值的变化幅度特别大,到了后面,曲线变得平稳。这就说明对于深度网络而言,他的决策边界存在一定的相关性和冗余性。

  • Hypothesize:
    • 存在一个低维子空间S\mathcal{S}包含自然图像周围区域中到决策边界的大部分法向量。

  为了验证这个假设,作者选取了前100个特征向量所张成的子空间S\mathcal{S},然后从中选择随机向量(ξ=2000\xi = 2000),发现居然能够攻击38%的图片,从而验证了假设(因为原始空间生成的随机扰动只能攻击10%的图片)


如果觉得我有地方讲的不好的或者有错误的欢迎给我留言,谢谢大家阅读(点个赞*我可是会很开心的哦)~

发布了183 篇原创文章 · 获赞 332 · 访问量 12万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览