梯度隐私泄露

最新推荐文章于 2024-05-22 13:14:41 发布

你看见的我

最新推荐文章于 2024-05-22 13:14:41 发布

阅读量3.3k

点赞数 7

分类专栏：联邦学习

本文链接：https://blog.csdn.net/qq_42328228/article/details/109396929

版权

9 篇文章 11 订阅

订阅专栏

本文揭示了在深度学习中，梯度信息可能被用于推测原始数据的潜在风险，即使在批量处理中，随着批量大小的增加，隐私泄露的难度加大，但依然存在安全隐患。防御方法包括使用差分隐私添加噪声、参数量化、梯度压缩和使用安全算法如同态加密。联邦学习中，权重信息代替梯度信息传输也是一种有效策略。

摘要由CSDN通过智能技术生成

动机

传统认为，在用户与用户、用户与中心之间传输梯度信息是安全的，本文打破了这种理所当然。
已知学习模型、权重参数W和真实梯度∇W，只需要少量迭代，可以反向推测出像素级的图像以及标签。
这种推测实际上是一种优化过程，随机生成一组虚拟的图像及标签，结合模型和权重执行前向和反向计算，获得虚拟梯度，目标是最小化虚拟梯度和真实梯度的差距，通过不断地优化输入图像和标签，迭代少量次数后，可以使得这组图像和标签接近（恢复）出真实的图像和标签。
如何抵抗这种现象或是攻击？梯度扰动（例如差分隐私）；梯度压缩或稀疏化（例如梯度TOP-K选择）；低精度（例如量化）；大批量；高分辨率；安全算法（密码学、安全多方计算）。

在这里插入图片描述

添加噪声（高斯噪声或拉普拉斯噪声）
与噪声方差有关，噪声方差scale of $10^{-×}$ 越大，梯度推测难度越大，但同时会影响检测任务的准确率；
低精度，即参数量化（单精度float16、bfloat16（float32的截断形式）、int8）
float16和bfloat16精度对梯度推测攻击无效；int8可以抵抗这种攻击，但会严重损害准确率。

梯度压缩或稀疏化
将不重要的梯度、或是变化幅度较小的梯度修减为0；使得梯度下降方向选择困难；显然剪枝比例超过20%后，根据梯度信息无法推测出原始图像和标签；梯度TOP-K选择也属于这个范畴，详见这里。
大批量；高分辨率；安全算法（密码学、安全多方计算）。
本文提出的DLG梯度泄露推测算法限制batchsize $\le$ 8，输入图像精度 $\le 64 \times 64$ ；
密码学算法中，同态加密显然是安全领域的圣杯，但它要求梯度为整数形式，这涉及编码优化的问题；且适用范围只针对参数服务器；此外，计算和通信开销也是需要关注的优化方向；
安全多方计算，典型的是两方(多方)秘密共享，但对实时性（同步）要求较高，如何降低通信开销是需要考虑的；**伪随机函数（PRF）**需要得到关注。

在这里插入图片描述

若获得梯度信息，根据权重梯度与偏置梯度的比值可以恢复出数据输入。
若第一层梯度信息加密，可以根据第二层梯度信息恢复出隐藏层输出 $Out_{h_i}$ （第二层的输入），再利用第一层连接原理解方程组可以恢复出数据输入。
上述两种情况假设偏置为定值（例如常数1），若神经网络模型偏置项数值由随机数生成；一般采用试错法，采用可能的偏置，比较推测梯度与真实梯度的差距，从而获得近似偏置值，偏置比较接近时可能导致隐私泄露，偏置一般表现为图像亮度变化。