联邦学习入门笔记（四）— 基于差分隐私的FL(ii)

本文首发于我的博客，
原文地址请点击这里！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

本文详细介绍了DP(差分隐私)+FL(联邦学习)的实现方法，笔者经过一年多的学习，基本上摸清了这个领域的一些套路，这里做一个总结。

距离上次发表联邦学习相关的文章已经是一年多前了，笔者接触这个领域差不多也有快两年的时间了，那时候笔者还是本科生，现在已经是快毕业的师兄了（逃），这两年对FL和DP的理解变化很大，应该说是对这个领域已经较为了解了，两年前写基于差分隐私的FL（i）这篇文章时，笔者对很多概念和算法描述的可能并不是特别到位，这里请大家以这篇文章的描述为准。

笔者的开源FL+DP代码：基于差分隐私的联邦学习代码库

基于DP的FL算法

为了简单起见，这里只讲解Client端的过程，以添加Laplace噪音为例，假设Client端收到来自Server的初始参数为${\mathbf{w}}_s$，学习率为$\eta$，本地数据集为$\mathcal{D}$，梯度裁剪的Clip为$C$，损失函数为$l(\mathcal{D},w_s)$，当前这一轮的隐私预算为$ϵ$，那么基于DP的Client端算法为：

• 接受来自Server的初始参数${\mathbf{w}}_s$

• 通过前向传播和反向传播计算出梯度 $\mathbf{g}$

  其中计算的过程应该为，首先计算出$\mathcal{D}$中每条数据${\mathcal{D}}_i$的梯度${\mathbf{g}}_{\mathbf{i}}$，进行梯度裁剪：

  ${\mathbf{g}}_{\mathbf{i}}=\frac{{\mathbf{g}}_{\mathbf{i}}}{max(1,|{\mathbf{g}}_{\mathbf{i}}|/C)}$

  然后再求平均值，把这个过程写成公式就应该是：$\mathbf{g}=\frac{1}{|\mathcal{D}|}\sum {\mathbf{g}}_{\mathbf{i}}=\frac{1}{|\mathcal{D}|}\sum argmi{n}_{}$