006 Deep Leakage from Gradients（便于寻找：梯度泄露）

梯度的深度泄露

两种联邦学习中的信息泄露（有无中央服务器）

从联邦学习期间共享的梯度可以推断出参与者的训练数据集的什么？

成员推理：使用预测结果和真相标签来推断记录是否在受害者训练数据集内。

属性推理：能推断出受害者的训练集包含一个具有一定属性的数据点。

模型反转：首先利用模型更新和攻击者自身的训练数据训练GAN模型，然后它使用GAN模型从受害者的更新中生成相似图像。

传统观点上认为：如果不事先了解训练数据，不能完全从梯度中窃取训练数据。

---

联邦设置中的深度泄露：给定从受害者接受到的模型更新/梯度，目的是保留梯度并且完全重建私有训练集。

①特定层局部泄露

Fully Connected（FC）层：广泛应用于神经网络（NN）和卷积神经网络（CNN）。对于有偏置的FC层，无论该层的位置在哪里，以及前面和后面层的类型，都可以从梯度计算出相应的输入。

DLG（数据梯度泄露）算法概述：

②梯度完全泄露

③图像分类的DLG攻击

④掩蔽语言模型的DLG攻击

⑤拓展DLG攻击

---

防御策略：

①密码学

密码学在理论上能完美捍卫泄露，但是大多数基于密码学的防御策略都有其局限性。

安全聚合要求梯度为整数，与大多数CNN不兼容；

安全外包计算只支持有限的操作；

同态加密计算开销大，降低了整个管道的速度。

在实践中，我们更感兴趣的是那些轻量级的方与策略。

②噪声梯度

预防数据梯度泄露的一个直接尝试是在共享之前在梯度上添加噪声。实验了方差范围从10^1~10^4的高斯和拉普拉斯噪声（广泛应用于差分隐私研究）分布。——>防御效果取决于分布方差的大小，与噪声类型关系较小

③梯度压缩和稀疏化

梯度压缩将小的梯度修剪为0，因此DLG更难匹配梯度，因为优化目标也会被修剪。

我们评估了不同稀疏度（1%~70%）如何防御泄露。

稀疏度为1%~10%时，对DLG几乎没有影响。

当修剪比增加到20%时，恢复图像上存在明显的伪像。

最大稀疏容忍性在20%左右

当剪枝率大于20%时，恢复的图像不再具有视觉识别能力。

梯度可以被压缩300倍以上而不损失精度，在这种情况下，稀疏度大于99%，已经超过了DLG的最大耐受值（20%左右）。