深度学习——Adversarial attack vulnerability of medical image analysis systems: Unexplored factors

摘要

1、在本文中，作者研究了以前未被探索的影响深度学习MedIA系统在眼科、放射科和病理学三个医学领域对抗攻击脆弱性的因素。（其实就是三个领域各用了一个数据集）
2、作者专注于对抗黑盒设置，其中攻击者没有完全的权限访问目标模型，而是使用另一种模型，通常称为代理模型，来创建对抗样本，然后将其转移到目标模型。作者认为这是MedIA系统最现实的应用场景。
3、作者的研究主要包含三方面：（1）研究了权重初始化(在ImageNet上进行预训练或者随机初始化)对对抗攻击从代理模型到目标模型的可迁移性的影响，即使用代理模型构造的攻击如何有效地作用于目标模型。（2）研究了目标模型和代理模型开发(训练和验证)数据差异的影响。（3）研究了权重初始化和数据差异与模型架构差异的交互作用。
注：所有的实验都是通过调整扰动程度来确保在攻击的最小视觉可察觉性下的最大可转移性

代理模型（黑客使用的模型）
目标模型（医疗系统中部署的模型）
MedIA(Medical Image Analysis)

对比方法

威胁模型
1、作者假设攻击者的目标是造成普遍的误分类，这通常被称为无针对性的对抗性攻击。在非定向对抗攻击中，目标是修改输入，使其被归类为非真实类的任何类；而在定向对抗攻击中，目标是修改输入，使其被归类为特定类
2、（1）作者假设攻击者只能在推理时刻操纵对目标系统的输入（2）攻击者被允许以一种看起来非常微妙甚至人眼无法察觉的方式修改输入图像（3）攻击者没有权限访问目标模型
3、作者模拟了攻击者对目标模型的以下特征缺乏了解的场景：（1）权重初始化(在ImageNet上预训练或随机初始化)（2）用于开发的数据（3）网络架构。

对抗算法

1. Fast gradient sign method.（FGSM）
2. Projected gradient descent（PGD）
   模型，训练和数据集
   1、作者使用的模型是Inception-v3和Densenet-121
   2、对于每个应用中的数据集，作者定义了开发集和测试集，开发集是用来训练和验证的，测试集用来测试。
   3、将开发集划分为两个不重叠，大小相等的部分d1,d2来研究奇偶性对攻击可迁移性的影响
   4、在患者水平分别随机抽取d2的一半和d1的10 %，形成d2 / 2和d1 / 10两组。这样做是为了研究数据集大小的影响。
   5、数据集一共三个领域，糖尿病病变视网膜检测数据集（眼科学），ChestX-Ray14(放射学），PatchCamelyon（病理学）
   

实验

实验部分主要分三块：
1、扰动程度实验
作者首先分析了扰动程度对实验的影响，以确保在最小视觉可感知性下的最大可迁移性，作者选取的噪声参数为0.01到 0.06.
（1）当对抗图像和原始图像并置，第一作者使用自己的视觉感知来判断微妙的对抗性扰动是如何出现的，由于评估每个对抗输入是不切实际的，这是在每个模态和每个ε的图像子集中评估的。
（2）计算每个模态的所有图像的对抗版本和原始版本之间的平均结构相似性指数( SSIM ) ，SSIM是基于人类视觉系统对图像中的结构信息敏感的假设特性，是对图像的感知质量的一种稳健度量。
（3）为了确保对抗攻击后目标模型性能的下降是由于扰动的对抗性质，而不仅仅是由于增加的噪声，作者额外计算了"控制"噪声。

2、预训练实验
训练了两个预训练模型和两个随机初始化的模型
3、（1）这部分实验主要关注用于开发目标模型和代理模型数据中的差异的影响，以及它与架构差异的相互作用。对于这组实验的第一部分，我们训练了每个架构的四个随机初始化版本：一个在d1上训练和验证的目标模型和三个分别在d1，d2和d2 / 2上训练和验证的代理模型。对于每个开发数据集，训练和验证图像之间的相同分割被用于训练每个模型。（2）在小数据集上训练的目标模型受到在更大的、不重叠的数据集上训练的代理模型的攻击。由于在小数据集上训练的模型往往需要在ImageNet上进行预训练才能达到良好的性能，因此作者将其纳入了本实验中。作为目标模型，作者在d1 / 10上训练了每个架构的预训练和随机初始化版本；对于代理模型，作者在d2上训练了每个架构的预训练和随机初始化版本。对于每个开发数据集，训练和验证图像之间的分割与之前的实验相同。

实验结论

1. 预训练可以显著提高对抗样本的可迁移性，即使目标和代理的结构不同，使用预训练的性能增益越大，可迁移性越大。（不利）
2. 目标模型和代理模型之间的开发数据差异极大地降低了攻击的性能；这种下降在模型结构上的差异被进一步放大。