Comprehensive Privacy Analysis of Deep Learning

Comprehensive Privacy Analysis of Deep Learning（针对深度学习的白盒成员推理攻击）

1. Abstract

​ 设计白盒推理攻击对深度学习模型进行全面的隐私分析；通过完全训练好的模型的参数和模型训练过程中的参数更新来评估隐私泄露程度；针对主动和被动推理攻击，设计了集成学习和联邦学习的推理算法，并假设不同的对手的先验知识。

​ 研究表明直接将黑盒攻击直接扩展到白盒设置是无效的，作者利用SGD随机梯度下降算法的隐私漏洞设计了新的算法来训练神经网络，良好的广义模型也会受到白盒推理攻击，具有高预测精度的联邦学习模型也会受到攻击者的攻击。

​ 机器学习的推理攻击分为两类：回溯攻击（例如成员推理），重建攻击；

​ 先前的成员推理攻击是基于黑盒设定的，攻击者只能够获取到模型的输出预测值，这表明训练数据的分布和模型的通用性对隐私泄露有很大程度的帮助，特别是过拟合模型相对于广义模型会更容易收到成员推理攻击，但是这样的黑盒模型对于深度神经网络这样的泛化性良好的模型可能并不适用(因为深度神经网络参数多，过于复杂，黑盒攻击效果一定是十分低效的)，可以在真实的情况下，深度学习模型是白盒设定的，许多的深度神经网络的参数对攻击者可见，例如在联邦学习中各个sever共享模型梯度参数一起更新全局模型；

​ **文章贡献:**面向白盒成员推理攻击的深度神经网络隐私分析框架；作者不仅对训练好的模型进行攻击实验，还针对在训练、微调、和升级过程中的模型进行攻击实验；在深度神经网络中，激活函数的泛化速度非常快，白盒和黑盒设定下的一样的攻击手段不会给攻击带来明显的提升，训练模型的前几层只会提取一些不太明显的特征，最后一层激活函数提取的复杂且抽象的特征，这些特征包含着更多关于训练数据集的信息；

​ 作者设计的白盒推理攻击主要针对梯度下降算法的脆弱性，在SGD算法降低模型的损失函数的过程中，每一个训练数据都会在损失函数的梯度上留下一个很明显的可区分出来的痕迹。

​ **攻击的核心思想：**将目标数据点上的所有参数的提度向量作为攻击模型的主要特征，设计一个深度学习的攻击模型，提取目标神经网络模型各个层的梯度参数特征，然后计算各个目标数据点的成员隶属度；针对于不同类型的数据集：如果攻击者已知一部分训练集的子集(也就是说训练攻击模型的时候已知哪些数据属于目标训练集，哪些属于非目标训练集)，则可以采用监督训练的方法，如果不知道则采用无监督学习的方法；最后训练一个自动编码器计算任意一个数据的成员信息（采用聚类算法来区分成员和非成员）；

​ 该白盒成员推理攻击实验证明仍然有效，使用CIFAR100数据集的DenseNet模型具有82%的预测精度并且对于黑盒成员攻击而言仅有54.5%的攻击精度，但是白盒成员推理攻击有74.3%的攻击精度，这表明训练很好的广义模型对于白盒成员推理攻击仍然是十分脆弱的。

​ 在联邦学习中，好奇的sever或者是client都可以对其他参与者进行精准的成员推理攻击。本地的参与者如果进行成员推理攻击可以达到72.2%的攻击精度(该参与者仅能获得每一轮服务器传递的梯度更新数据)，服务器攻击者可以达到79.2%的攻击精度(服务器可以获得每一轮各个参与者提供的梯度更新)，核心思想在于在联邦学习中模型在每一轮中在统一数据集上重复的梯度更新是该成员推理攻击成功的关键原因。

​ 由于对抗性参与者的贡献会对其他参与者产生影响，那么在联邦学习中，攻击者可以主动地让SGD算法泄露更多参与者的数据；作者设计一种攻击方式：在上传和更新梯度前，对一组数据点进行梯度上升，这样会放大其他参与数据集对该数据点的反应，SGD会突然降低其他参与者该数据点的梯度；