联邦学习之差分隐私

联邦学习过程

  联邦学习以轮为单位,每个轮内包含模型分发、本地训练和全局更新这3个阶段。

1. 模型分发

  在模型分发阶段,服务器按照一定标准,选择参与本轮联邦学习的设备,例如下图中选中了3个设备,向它们分发全局模型。
在这里插入图片描述

2. 本地训练

  在本地训练阶段,每个设备加载当前全局模型,使用自己的训练数据训练,得到新的本地模型。
在这里插入图片描述

3. 全局更新

  在全局更新阶段,每个设备向服务器上传模型更新值,服务器收集更新值进行聚合,得到聚合结果,更新全局模型。
在这里插入图片描述
在这里插入图片描述
下一轮,服务器会将新的全局模型发送给选中的设备
在这里插入图片描述

差分隐私

差分隐私类型

  1. 样本级别(element-level)的差分隐私:训练的模型,不会泄露某个特定的样本是否参与了训练
  2. 用户级别(client-level)的差分隐私:训练的模型,不会泄露某个用户是否参与了训练

样本级别差分隐私

在这里插入图片描述
  样本级别的差分隐私,是在通常的SGD的一个batch训练过程中,增加了DP的两个步骤。在一个batch根据损失函数计算完梯度之后,在进行梯度下降的更新前,第一步是对每个样本计算的梯度裁剪,第二步是在这个batch的梯度更新前对梯度更新总值添加噪声。对梯度进行放缩,让梯度的二范数值在范围C内,之后添加的噪声的大小和C值有关。C值是一个动态变化的值,文章中提出,C的值选取为这个batch梯度的范数中位数值。

联邦学习差分隐私

  联邦学习的差分隐私的用户级别差分隐私,包含三个步骤:①裁剪;②聚合;③加噪
  一般的联邦学习的聚合过程是FedAvg,每个用户是返回梯度的更新值 θ ′ − θ t \theta'-\theta_t θθt给服务器,服务器做加权聚合:
在这里插入图片描述
  联邦学习的差分隐私包含两个步骤,梯度裁剪和添加噪声,都是由服务器完成。
  客户做完本地SGD得到梯度更新值,服务器不是直接对梯度更新值进行聚合,而是进行梯度裁剪,与之前样本集的差分隐私类似,二阶范数限制取所有用户梯度更新值的中位数值。
在这里插入图片描述
  服务器对进行了范数限制的梯度更新值进行加权聚合:
在这里插入图片描述
  第二个差分隐私步骤是添加噪声,添加噪声的强度与用户梯度更新范数值中位数S有关。在聚合平均之后,服务器添加高斯噪声,然后做模型参数的全局更新。
在这里插入图片描述

完整算法

在这里插入图片描述

参考

  1. Geyer R C, Klein T, Nabi M, et al. Differentially Private Federated Learning: A Client Level Perspective. NIPS, 2017.
  2. Abadi M, Chu A, Goodfellow I, et al. Deep Learning with Differential Privacy[J]. computer and communications security, 2016: 308-318.
  3. H. Brendan McMahan, Daniel Ramage, Kunal Talwar, Li Zhang.Learning Differentially Private Recurrent Language Models. ICLR, 2018
  4. Jakub Konečný. “Federated Learning-Privacy-Preserving Collaborative Machine Learning without Centralized Training Data”. Jan 2020. URL: http://jakubkonecny.com/files/2018-01_UW_Federated_Learning.pdf
  • 16
    点赞
  • 99
    收藏
    觉得还不错? 一键收藏
  • 22
    评论
联邦学习场景下引入隐私技术可以达到数据隐私保护的目的。联邦学习是一种分布式机器学习方法,其中多个客户端训练各自的本地模型,并将本地模型的更新上传到中央服务器进行聚合。隐私技术在这个过程中起到了保护数据隐私的作用。 具体来说,隐私技术通过在本地客户端对参数进行裁剪和在服务端对聚合结果添加噪音的方式,使得用户无法从输出数据中区分数据是来源于哪个客户端的。这样一方面保证了每一个客户端的本地数据隐私安全,另一方面也保证了客户端之间的信息安全,即不能推断出某个客户端是否参与了当前的训练。这种结合的算法被称为DP-FedAvg算法,它将联邦学习中经典的Federated Average算法和隐私技术相结合。通过这种方式,联邦学习隐私的结合既能够充分利用分布式数据进行模型训练,又能够保护数据的隐私安全。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [联邦学习隐私案例](https://download.csdn.net/download/unseven/88228872)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [联邦学习安全防御之隐私](https://blog.csdn.net/wutianxu123/article/details/124092828)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 22
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值