《Comprehensive Privacy Analysis of Deep Learning》补完以及Deepfool对抗样本构造算法

本文关于推理攻击领域关于深度学习的隐私性的全面分析《Comprehensive Privacy Analysis of Deep Learning》，以及介绍Deepfool对抗样本构造算法的《DeepFool: a simple and accurate method to fool deep neural networks》。

 

1. 《Comprehensive Privacy Analysis of Deep Learning》

本文综合介绍了针对深度学习的推理攻击方法，主要的研究点是评估白盒攻击条件下的针对独立学习（stand-alone）和联邦学习（federated）的攻击效果。

（为保证完整性保留上星期的部分阅读笔记，即第1.1段）

 

     1.1 文章概述

     深度学习在各行各业中广泛应用，而深度学习必须大量的相关数据集。这些数据集里可能会包含用户的各类隐私资料，比如病历、银行账户、图像、声音、社会关系和地理位置等等。文章作者想要回答的是，在深度学习框架下用户隐私的泄露程度如何，即当前深度学习模型有多大程度泄露出其训练数据。

     作者将某一模型的敏感隐私信息泄露定义为：攻击方能够通过该模型得到这一隐私数据，而不能从其他以相同分布训练其他数据的其他模型中得到。前者反映的是效用增加（utility gain），后者反映的是隐私损失（privacy loss）。（这段有些没懂）

     针对机器学习算法的推理攻击有分为两大类：1）跟踪攻击（成员推理攻击） 2）重建攻击。在重建攻击中，攻击算法的目的是推理重建训练数据的某些属性信息；在成员推理攻击中，攻击算法的目的是推断某一特定数据是否存在于训练数据集中。这是一个决策性问题，这直接反映了一个模型对于训练数据的泄露程度。因此作者选择这类攻击方式用作作者测试模型隐私性的基本手段。

     近段时间的研究结果大都是在黑盒攻击模式下完成的，然而这类黑盒攻击对泛化性良好的深度学习模型攻击效果不佳。并且，在现实世界中，攻击者有时能够看到深度学习模型的相关参数，比如在联邦学习的条件下，多个数据提供者通过向聚合器分享他们的数据来训练一个全局模型。

     本文的贡献在于：作者在本文提出了一个综合性的深度学习隐私性评价框架，这个框架基于白盒攻击条件下的推理攻击。本文中作者不仅仅局限于对训练完成的模型进行推理攻击这一种情况，而是针对了许多种在训练、微调（fine-tuning）和升级模型过程中常见情况进行了实验，比如：训练过程中只有一个参与者或者有多个参与者；攻击方仅仅能够观测到模型更新信息，或攻击方能够对目标模型施加影响从而提取更多信息；攻击方是否拥有更多的先验性知识。总之，无论条件的不同，这些攻击方的目的是惟一的，那就是成员推理攻击。

     从作者的以往经验来看，激活函数的泛化速度非常快，在白盒条件下使用和黑盒条件下一样的攻击手段将不会给攻击带来明显的提升。在训练模型的头几层只会提取一些不明显的特征，这些特征并不能代表特定的训练数据集。而在训练模型的最后一层激活函数提取了复杂且抽象的特征，这些特征应该包含着更多关于训练数据集的信息。这些信息或多或少与泄露的信息有所关联。

     作者设计的白盒条件下的攻击手段利用了SGD算法对于隐私的脆弱性。SGD算法中，每一个数据点都会影响许多模型参数。SGD算法中利用每一个数据从梯度方向保证最终整个模型的损失接近于零。总之，每一个数据训练集中的样本都会在模型参数的损失函数梯度上留下明显的痕迹。

     作者在这次的攻击算法设计中运用了这种梯度向量作为主要特征。作者设计的深度学习攻击算法能够从目标模型不同的层中提取梯度特征，并最后将它们的信息整合起来，用来计算特定数据作为原始训练数据集成员的概率。这一方法能够针对已知信息丰富度不同的攻击方，如果攻击方已经知道训练集的某一子集，那么该攻击算法能够以监督的方式进行训练；对于对目标模型缺乏有效信息的攻击方，该攻击算法能够以一种无监督的方式进行训练，在这一过程中，算法将训练一种来计算各个成员对于任何数据的embedding信息，并用一种聚类算法来将成员与非成员区分开来。