图片超分辨率python_Adversarial attack相關：用超分辨率重建進行defense和攻擊超分辨率重建網絡...

目录

• Image Super-Resolution as a Defense Against Adversarial Attacks 论文阅读
• Evaluating Robustness of Deep Image Super-Resolution Against Adversarial Attacks 论文阅读

Image Super-Resolution as a Defense Against Adversarial Attacks 论文阅读

这篇论文发表在 2019 IEEE transactions on image processing : a publication of the IEEE Signal Processing Society. https://github.com/aamir-mustafa/super-resolution-adversarial-defense

SR defense

论文提出了一种计算有效的图像增强方法，该方法提供了强大的防御机制，可以有效地减轻这种对抗性干扰的影响。作者表明，深度图像恢复网络学习了映射功能，可以将非流形对抗样本带到自然图像流形上，从而将分类恢复为正确的类别。论文的方法的一个显着特征是，除了提供抵御攻击的鲁棒性之外，它还同时提高了图像质量并在干净图像上保留了模型性能。此外，所提出的方法不修改分类器或需要单独的机制来检测对抗图像。该方案的有效性已通过广泛的实验证明，在灰盒环境中被证明具有强大的防御能力。该方案简单易行，具有以下优点：（1）不需要任何模型训练或参数优化;（2）补充了其他现有的防御机制;（3）不受攻击模型和攻击类型的影响，（ 4）它在所有流行的攻击算法中均提供卓越的性能。

论文贡献

1. 假设学习到的SR模型具有足够的通用性，可以将非流形样本重新映射到自然图像流形上（参见图1）。小波域滤波进一步抑制了添加噪声的影响，并通过对图像的高分辨率版本进行全局池化操作将其固有地最小化。证明超分辨率可以成功地将分类器的注意力从随机噪声中转移到受攻击图像的更多区分区域。

图1

1. 通过广泛的经验评估，显示出图像超分辨率是针对文献中最近提出的各种最先进的攻击的有效防御策略。
2. 超级解析对抗性图像会将其投影回由深度图像分类网络学习的自然图像流形。
3. 与现有的基于图像变换的技术（在克服对抗性噪声的过程中会引入伪影）不同，该方案保留了关键的图像内容，因此对分类器在干净，无攻击的图像上的性能影响最小。

扰动图像的恢复

• 使用超分辨作为一个防御方法

超分辨率可抵御对抗攻击：该图说明了样本图像从低分辨率到高分辨率流形的映射。 对抗图像被映射到与干净自然图像相同的域中，从而恢复其对应的真实标签。

此方法的基本假设是，深层超分辨率网络会学习一个映射函数，该映射函数的通用性足以将被扰动的图像映射 到其对应类图像的流形上。 通过深层CNN学习的这种映射功能基本上可以对真实的非扰动图像数据的分布进行建模。

我们可以看到，SR网络丢弃了大多数嘈杂的扰动。 但是，仍然存在少量的噪声。 此外，SR网络加强了沿图像显着边界的高频变化。

• 算法

先小波去噪，然后进行超分辨率重建，最后把图像输入分类器。论文运用的都是已有的小波去砸方法和超分辨率重建方法，创新点主要是用超分辨率重建来做防御。

实验分析

• 流形假设验证

作者提出干净的和对抗性的样本位于不同的流形上，并且将图像超分辨到更高维度的空间会将对抗性样本重新映射回自然图像流形。 为了验证此假设，我们微调了一个在ImageNet数据集上的预训练模型，用10,000对干净的和对抗性的示例（从所有上述攻击技术中生成）训练，令它成为一个2分类器。我们的模型有效地利用了干净图像与对抗样本之间的细微差别，并以非常高的准确性（99.6％）将两者分开。

实验计算的事对抗样本的销毁率，即对抗样本被分类正确的概率。

1. 用本文的小波去噪（WD)和超分辨率重建（SR)方法和现有的4种防御方法对比，证明本文的WD+SR方法有更好的防御效果。

2. 对比两大类超分辨率重建的方法：插值法（双线性插值，双三次插值）和基于深度学习的方法（SR-ResNet,EDSR,SR-GAN）。实验显示EDSP有更好的效果。

3. 分别测试了只用WD 和SR 进行防御对成功率的影响。只用SR的防御成功率和使用WD+SR的防御成功率很接近，主要是SR起作用。

使用小波去噪处理后的对抗样本如图，如果参数太大还会事图片原本的信息丢失。

4. 用对抗样本，干净图片和超分辨重建后的对抗样本做advTrain，防御模型的防御效果有一定提高。

评价：

其实这篇论文都是用已有的小波去噪，超分辨重建方法进行防御，代码都是现有的，主要工作量在于实验对比，得出了超分辨重建可以用来做对抗攻击的防御。

Evaluating Robustness of Deep Image Super-Resolution Against Adversarial Attacks论文阅读

这篇论文发表在 2019 ICCV ,The IEEE International Conference on Computer Vision (ICCV)

基于深度学习的超分辨率重建的方法由称为超分辨率卷积神经网络（SRCNN）的简单卷积网络模型触发的，可以提供更高质量的放大图像。 超分辨率技术的改进将其应用扩展到更广泛的领域，包括视频流，监视，医学诊断和卫星摄影。 尽管引入了许多基于深度学习的超分辨率方法，但它们对预期攻击的鲁棒性尚未得到充分研究。

这篇论文研究了基于深度学习的超分辨率方法对抗对抗性攻击的鲁棒性，该方法可显着降低超分辨率图像的质量，而不受攻击的低分辨率图像却没有明显的失真。 论文的攻击方法会在输入图像中产生扰动，这些扰动在视觉上并不明显，但会大大降低输出的质量。

论文贡献

1. 提出了三种针对超分辨率的对抗攻击方法，包括基本，通用和部分攻击。 这些方法基于图像分类任务中广泛使用的方法，针对超分辨率任务对其进行了优化。
2. 通过使用对抗性攻击方法提供实验结果，对超分辨率方法的鲁棒性进行了全面的分析。
3. 进一步研究了鲁棒性与模型属性的关系并测量了可传递性。

方法设计

1. basic attack：基于I-FGSM

对超分辨率模型的对抗攻击的目标是在给定的输入图像中注入少量扰动，以使该扰动在视觉上无法察觉，但会导致超分辨输出的明显恶化。

超分辨网络输出，

原图像，

对抗样本目标是最大程度地提高超分辨输出的恶化量，可以将其定义为：

1. universal attack:

有

张图在数据集中，

通用扰动，

第

张原图像，

第

个对抗样本.

1. partial attack：

仅通过攻击图像的某些部分来进一步研究超分辨率方法的鲁棒性，但是要测量未受到攻击的区域中的劣化程度。 通过此实验，可以检查在超分辨率过程中扰动渗透到相邻区域的程度。 令

表示扰动增量的二进制掩码，其中仅将要攻击的区域设置为

。被掩码的扰动为

，其中

表示逐元素乘法。

实验分析

本文考虑了8个基于深度学习的产分辨率重建模型和双三次插值法 。

用PSNR（峰值信噪比）来衡量图片质量，PSNR越大图片噪声越小，PSNR大于30可以认为这幅图像的噪声时可以接受的。

• basic attack

对于低分辨率图像，测量干净图像和对抗样本的峰值信噪比，对于高分辨率图像，测量经过超分辨率重建后的干净图像和对抗样本的峰值信噪比。可以看出，分辨率较低时，攻击不同SR模型生成的对抗样本的PSNR大部分大于30；然而，把对抗样本进行超分辨率重建吼PSNR大大下降，其中GAN-based和层数较深的模型受影响程度最大。

• 可转移性

测量攻击纵坐标生成的对抗样本输入横坐标的SR模型进行超分辨率重建后的PSNR。PSNR值大部分都小于30。

• universal attack

与basic attack 的实验结果大致相同。

• partial attack

从Set14数据集中的图像获得的示例SR图像，该图像部分受到了$α= 8/255$的攻击。 由于攻击而导致的性能下降会传播到受攻击区域之外，这对于ESRGAN和RRDB尤其明显。 这是因为卷积层的核不仅作用于目标位置的像素，而且作用于其相邻像素。 而且，由于这样的操作而引起的扰动的传播进一步扩展到多个卷积层。

评价

这篇论文主要关注的是基于深度学习的SR模型的鲁棒性，说明了对抗抗击可以使超分辨率重建模型的输出图像质量大大下降。较为鲁棒的模型是CARN,CARN-M和双三次插值法。实验也很有趣，特别是partial attack。