梯度的深度泄露
两种联邦学习中的信息泄露(有无中央服务器)
![](https://i-blog.csdnimg.cn/blog_migrate/158590e8d2f18c9607ab6d546b2f92db.png)
从联邦学习期间共享的梯度可以推断出参与者的训练数据集的什么?
成员推理:使用预测结果和真相标签来推断记录是否在受害者训练数据集内。
![](https://i-blog.csdnimg.cn/blog_migrate/645515dba66590b2443b2751a84eb9df.png)
属性推理:能推断出受害者的训练集包含一个具有一定属性的数据点。
![](https://i-blog.csdnimg.cn/blog_migrate/3f65cf7fdd52f065cde97a43b5f1bc83.png)
模型反转:首先利用模型更新和攻击者自身的训练数据训练GAN模型,然后它使用GAN模型从受害者的更新中生成相似图像。
![](https://i-blog.csdnimg.cn/blog_migrate/45ee6131d9768917e56315aa869f9e09.png)
传统观点上认为:如果不事先了解训练数据,不能完全从梯度中窃取训练数据。
联邦设置中的深度泄露:给定从受害者接受到的模型更新/梯度,目的是保留梯度并且完全重建私有训练集。
![](https://i-blog.csdnimg.cn/blog_migrate/68c4ac0e8a18b1919597909f06b25e93.png)
①特定层局部泄露
Fully Connected(FC)层:广泛应用于神经网络(NN)和卷积神经网络(CNN)。对于有偏置的FC层,无论该层的位置在哪里,以及前面和后面层的类型,都可以从梯度计算出相应的输入。
DLG(数据梯度泄露)算法概述:
![](https://i-blog.csdnimg.cn/blog_migrate/f26881c995b2a27d95bac72ee6edabd5.png)
②梯度完全泄露
③图像分类的DLG攻击
④掩蔽语言模型的DLG攻击
⑤拓展DLG攻击
防御策略:
![](https://i-blog.csdnimg.cn/blog_migrate/6307c699923231f71a93224896959df0.png)
①密码学
密码学在理论上能完美捍卫泄露,但是大多数基于密码学的防御策略都有其局限性。
安全聚合要求梯度为整数,与大多数CNN不兼容;
安全外包计算只支持有限的操作;
同态加密计算开销大,降低了整个管道的速度。
在实践中,我们更感兴趣的是那些轻量级的方与策略。
②噪声梯度
预防数据梯度泄露的一个直接尝试是在共享之前在梯度上添加噪声。实验了方差范围从10^1~10^4的高斯和拉普拉斯噪声(广泛应用于差分隐私研究)分布。——>防御效果取决于分布方差的大小,与噪声类型关系较小
![](https://i-blog.csdnimg.cn/blog_migrate/0ac4375a0d966af4aa426952386b214e.png)
③梯度压缩和稀疏化
梯度压缩将小的梯度修剪为0,因此DLG更难匹配梯度,因为优化目标也会被修剪。
我们评估了不同稀疏度(1%~70%)如何防御泄露。
稀疏度为1%~10%时,对DLG几乎没有影响。
当修剪比增加到20%时,恢复图像上存在明显的伪像。
最大稀疏容忍性在20%左右
当剪枝率大于20%时,恢复的图像不再具有视觉识别能力。
梯度可以被压缩300倍以上而不损失精度,在这种情况下,稀疏度大于99%,已经超过了DLG的最大耐受值(20%左右)。