【论文阅读】Universal Adversarial Perturbation via Prior Driven Uncertainty Approximation

深度学习中存在的两种种类不同的不确定性--认知不确定性和偶然不确定性：将偶然不确定性和随机不确定性结合在一个统一的框架中，称为先验驱动的不确定性近似(PD-UA)。

算法结构：

思路：

• 认知不确定性解释了最适合训练数据的模型参数的不确定性，如ImageNet。CNN的不确定性可以通过每个convolutional layer上被激活神经元的数量来反映。在模型输出过程中，激活的可信神经元越多，获得的不确定性就越多，从而得到更好的UAP。为此，我们在UAP学习中引入了虚拟模型不确定性，目的是通过蒙特卡罗丢失率(Monte Carlo Dropout, MC Dropout)[8]来激活更多的神经元，增加每个卷积层的模型不确定性。
• 任意不确定性是一种不依赖于数据但依赖于任务的不确定性，是一种统计不确定性，表示为对各种输入数据保持稳定但在不同任务之间变化的量。【1】指出在ImageNet上的预训练模型含有很强的纹理偏置，因此启发使用一个揭示任意不确定性的纹理图像来欺骗一个CNN 。针对纹理图像中含有大量低频信息[33]的特点，引入拉普拉斯金字塔频率模型，有效地提高了算法的收敛速度。

主要贡献：

1.为了接近认知不确定性，我们提出了一个虚拟模型不确定性，使得我们的PD-UA在最大程度上最大化了与微扰输入相对应的神经元激活，增加了不确定性，同时提高了攻击性能。

虚拟认知不确定性：在神经元的输出上引入伯努利分布来近似每层的不确定性，称为虚拟认知不确定性。这个过程是用蒙特卡罗丢失方法完成的

2.为了近似任意不确定性，首先引入纹理偏差来初始化UAP，它在公共基准测试中获得了比现有技术水平更高的性能收益。我们得出了两个基本而重要的结论:(a)微扰初始化的更好对更深层次CNNs的UAP生成质量有显著影响。(b)像纹理一样的扰动可以不经过任何训练过程直接欺骗CNNs。

3.我们进一步提出了一个拉普拉斯金字塔频率模型来提高低频部分的梯度，（对梯度进行归一化，使梯度收敛速度加快）其输出被有效地利用来更新扰动通过SGD与动量。

拉普拉斯金字塔频率：。拉普拉斯金字塔(Laplacianpyramid): 用来从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。

4.我们将所提出的方法与ImageNet数据集上最先进的独立于数据的uap进行了比较，其中包括六种著名的CNN模型，包括GoogleNet、VGGs (vggf、vgg16、vgg19)和ResNets(均为ResNet50和ResNet-150)。定量实验表明，我们提出的PD-UA性能优于最先进的[23]，具有显著的愚弄率改善。

方法：

虚拟认知不确定性：(不懂可以参考https://zhuanlan.zhihu.com/p/56986840)

第i层输出的不确定概率：=第i层网络第j个神经元被选择✖权重w被选择

 

每个滤波器的后验概率：

对于每个神经的虚拟认知不确定性：

整个CNN模型不确定性的损失函数：

（6）

任意不确定性：

需要调整微扰δ的分布，将其作为扰动学习前的先规范化。随机不确定性反映了观测噪声对模型输出的影响，不同类型的扰动具有不同的攻击性能。关键问题是如何在UAP学习期间初始化和利用这种扰动。

不采用之前普遍的高斯分布或者均匀分布，最近在[10]的观察表明，在ImageNet上预先训练的CNNs对纹理信息的识别有强烈的偏见。因此，我们认为，纹理样式偏差可以帮助最大限度地激活每一层的纹理，这可以进一步增加模型的不确定性与简单的输入噪声观测

初始化后的另一个关键问题是如何在扰动学习过程中利用这种纹理样式信息。受到纹理合成[9]的启发，我们使用了特别鼓励纹理细节再现的风格丢失：

（7）

G是从预训练模型的几层网络中抽取的特征的格拉姆矩阵，是在l层k位置的第i个滤波器，是在训练过程中被融入的纹理特征图片。

优化

我们改变了Eq.7中带有纹理偏差的风格损失，从而导致了虚拟认知的不确定性作为正则化器：

与低频部分相比，高频部分的梯度幅度往往比较大。因此，我们考虑使用拉普拉斯金字塔频率模型(LPFM)来增加UAP的低频部分

输入梯度的n阶拉普拉斯空间金字塔，然后用给定的低通滤波器输出每一阶的梯度。最后我们对各个尺度的梯度进行求和，得到最终的梯度，并进行白化处理。最后一个动量增加的更新方案重写如下：

整个算法流程：

分析：

最近的先前技表明，当激活每一层的所有神经元时，具有相似概念的神经元会被重复激活，从而导致信息冗余。通常，大多数对抗性学习算法的目标是搜索将当前输入推出现有类空间的方向，这些算法通常以迭代的方式实现。如果当前梯度在计算上依赖于多余的神经元，梯度的值将会减小，即使是在相反的方向。这种信息偏差使得空间搜索更加复杂和耗时。此外，由于缺乏先验摄动，明确的语义方向难以计算。

在提出的纹理先验条件下，普遍摄动的方向更加合理，导致了一系列重复的图案。为了解决这个问题，Eq.6中提出的方法近似CNN模式的不确定性，可以自适应地剔除每一层的神经元，解决信息偏差？？

[1]Robert Geirhos, Patricia Rubisch, Claudio Michaelis,Matthias Bethge, Felix A Wichmann, and Wieland Brendel. ImageNet-trained CNNs are Biased Towards Texture:Increasing Shape Bias Improves Accuracy and Robustness.In Proceedings of the ICLR, 2019. 2, 4

[9] Leon A Gatys, Alexander S Ecker, and Matthias Bethge.Texture Synthesis Using Convolutional Neural Networks. In
Proceedings of the NeurIPS, 2015. 4

[10]Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A Wichmann, and Wieland Brendel. ImageNet-trained CNNs are Biased Towards Texture:Increasing Shape Bias Improves Accuracy and Robustness. In Proceedings of the ICLR, 2019. 2, 4

[23] Konda  Reddy  Mopuri,  Aditya  Ganeshan,  and V enkatesh Babu Radhakrishnan. Generalizable Data-free Objective for Crafting Universal Adversarial Perturbations. Journal of the IEEE TPAMI, 2018. 1, 2, 4, 5, 6