【联邦学习论文阅读】常用算法理解（SCAFFOLD、FedPD、FedBN）-目前仅SCAFFOLD

原创 已于 2022-05-05 10:43:58 修改 · 7.7k 阅读 · 69 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #人工智能

于 2022-05-05 10:18:04 首次发布
SCAFFOLD算法解决了FedAvg在非IID数据下的client-drift问题，通过控制变量修正本地更新，实现更快收敛。FedBN针对特征分布变化（featureshift）的情况，利用本地批量归一化层保持模型性能，同时保护数据隐私。实验表明，SCAFFOLD在多种设置下优于SGD和FedAvg，FedBN在特征分布异构场景下表现出色。

SCAFFOLD（ICML-2020）：SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
FedPD：https://arxiv.org/abs/2005.11418
FedBN（ICLR 2021）：FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION

杂七杂八

1…梯度实际上是对用户数据进行函数变换，在训练数据时携带信息，可能有泄露梯度隐私的风险。

  • least squares regression（最小二乘回归）： m i n w ∑ i = 1 n l ( w , x i , y i ) ,   where   l ( w , x i , y i ) = 1 2 ( x i T w − y i ) 2 \underset{w}{min}\sum_{i=1}^{n}l(w,x_i,y_i),\ \texttt{where} \ l(w,x_i,y_i)=\frac{1}{2}(x_i^Tw-y_i)^2 wmin​∑i=1n​l(w,xi​,yi​), where l(w,xi​,yi​)=21​(xiT​w−yi​)2

  • stochastic gradient（随机梯度）： g i = ∂   l ( w , x i , y i ) ∂ w = ( x i T w − y i ) x i g_i=\frac{\partial \ l(w,x_i,y_i)}{\partial w}=(x_i^Tw-y_i)x_i gi​=∂w∂ l
最低0.47元/天 解锁文章
【ICML 2020联邦学习论文解读】SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
捡起一束光的博客
11-30 5702
FedAvg的收敛速度受限于数据集的分布，在Non-IID数据集中FedAvg的收敛速度缓慢。本文提出了一种叫做SCAFFOLD的算法，通过增加一个额外的参数control variate来修正FedAvg出现的client-drift，以此来加快收敛速度，从而减少通信次数............
联邦聚合(FedAvg、FedProx、SCAFFOLD)
ZJQ的博客
06-28 1015
在每轮训练开始的时候，随机 C C C（ C C C 表示占比）个clients参与训练。上图展示了达到0.5的test accuracy，各方法所需要的迭代轮数，SCAFFOLD是最快的。这是SCAFFOLD论文中做的对比实验，看起来FedProx没有达到宣称的效果。这几篇论文的重点都试图在解决上面四个问题，研究的重心是，如何在2、3、4的条件下， 提出一种communication rounds最少的方法。这是SCAFFOLD论文中做的对比实验，看起来FedProx没有达到宣称的效果。
论文笔记 SCAFFOLD Stochastic Controlled Averaging for Federated Learning
Limeym的博客
11-14 1648
SCAFFOLD 算法笔记
批量归一化：不将参数上传到中心服务器，那服务器怎么进行聚合？
最新发布
qq_65213554的博客
08-23 1526
所以，服务器聚合的过程并没有中断，它只是选择性地聚合了模型的一部分参数（非BN层），而刻意避开了那些与本地数据分布强相关的参数（BN层）。这样做的好处是：解决了Non-IID问题：每个客户端拥有个性化的BN参数，适应自己的数据分布，极大提升了模型性能。通信效率高：虽然BN参数也被传输了（因为客户端上传的是整个模型），但服务器端简单的丢弃操作不会增加额外的通信负担。整个通信量和标准的FedAvg是一样的。实现简单：只需在服务器聚合代码中加几行“跳过BN层”的判断即可。缺点描述数据异构类型受限。
联邦学习之----联邦批量归一化（FedBN）
qq_65213554的博客
08-23 1045
在真实世界的物联网设备（如不同地区的手机、医院、传感器）中，每个设备收集的数据分布可能截然不同。
ICCV 2025 | 新型后门攻击直指Scaffold联邦学习，NTU联手0G Labs揭示中心化训练安全漏洞
jike007gt的博客
08-11 1155
本文提出了 BadSFL，这是一种专为使用 Scaffold 聚合算法的非 IID 联邦学习环境设计的新型后门攻击。通过采用基于 GAN 的数据增强技术并利用 Scaffold 的控制变元，BadSFL 在攻击有效性、隐蔽性和持久性方面均优于现有方法。我们在多个基准数据集上的实验结果表明，该攻击具有显著的有效性，且后门功能的持续时间远超已有方法。未来，我们希望研究人员能够设计出更稳健的防御机制，包括使用在去中心化环境中的可验证训练方法，以保护联邦学习系统免受此类攻击的威胁。
详解SCAFFOLD：解决联邦学习中的客户端漂移问题 Scaffold: Stochastic controlled averaging for federated learning
weixin_70757494的博客
06-11 2928
这是个作者提出的概念，下面给出对这个概念的解释：我们都知道模型的参数可以看成是参数空间的一个点，模型训练就是想要把这个点根据梯度慢慢移动到低的地方。但是在FL中，各模型的训练分散在各client中，每个client的参数都会根据模型在自己本地数据集上的训练情况往某个方向移动，显然在数据Non-IID时，这些client的参数的移动方向是不一致的（这就是client-drift），这就导致了在模型合并（合并的过程就是简单的平均）之后要么抵消，要么偏移，因此收敛到最低点的速度就慢了。
Python库 | lk_qtquick_scaffold-1.1.0-py3-none-any.whl
02-17
《Python库lk_qtquick_scaffold-1.1.0-py3-none-any.whl的深度解析》 在Python的世界里，丰富的库是其强大功能的重要支撑。今天我们要探讨的是名为"lk_qtquick_scaffold"的Python库，版本号为1.1.0，以whl格式提供...
“SCAFFOLD:联邦学习的随机控制平均”PPT核心算法解析
08-03
“SCAFFOLD:联邦学习的随机控制平均”PPT核心算法解析 SCAFFOLD Stochastic Controlled Averaging for Federated Learning“SCAFFOLD:联邦学习的随机控制平均”论文解读PPT形式
scaffold-react-component：搭建带有样式，测试和故事的React组件
02-04
npm install -g scaffold-react-component 用法 要获得完整的指导，请执行以下操作： scaffold --help 为了支撑功能性的React组件，请使用，例如 scaffold Modal 要--type ES6类React组件，请使用第二个参数或-...
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning学习
Rick_rui的博客
03-06 3157
论文的一个基本思想本质上便是用全局模型的知识去限制局部模型的训练方向，以防止那些与全局模型相差较大的局部模型带偏整个系统的训练方向。
SCAFFOLD：联邦学习控制变量更新方法
weixin_47754029的博客
07-09 1022
原文的公式权值用x,y表示，如果结合FedAvg与FedProx的话，看起来很费劲，所以我还是按照权值为w的形式书写，相比于FedAvg只有权值聚合更新，SCAFFOLD添加了控制变量C来减少局部更新中“客户端漂移”，同时在server聚合时，对控制变量C也做了更新。在FedAvg局部更新中，为了减小客户端与服务器之间的通信效率，同时克服数据样本非独立同分布的缺陷，FedAvg选择在局部更新选用较多的epoch，SGD选用较小的步长。它在每个客户端的更新中引入了漂移，导致了缓慢和不稳定的收敛。
Scaffold 基于fedavg方法的改进，代码复现（联邦学习）
a1007942636的博客
11-30 3427
当前有个工作需要实现scaffold算法，该方法通过添加修正项c来解决客户端漂移现象， 在参考github上的相关框架后，复现了该算法。 算法分为三个模块: optimizer: 重写优化器sdg clientscaffold:客户端操作 serverscaffold:服务端操作 optimizer部分代码: import torch from torch.optim import Optimizer class SCAFFOLDOptimizer(Optimizer): def __init__
联邦学习经典算法总结
ylycrp的博客
11-02 1万+
联邦学习FL
联邦学习算法SCAFFOLD的PyTorch实现
KI的博客
03-02 5159
联邦学习算法SCAFFOLD的PyTorch实现
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
qq_44026293的博客
12-06 3806
背景 传统的联邦学习在数据异构(non-iid)的场景中很容易产生“客户漂移”(client-drift)的现象，这会导致系统的收敛不稳定或者缓慢 贡献 提出了考虑到client sampling和数据异构的一个更接近的收敛边界 证明即便没有client sampling，使用全批次梯度(full batch gradients)，传统的FedAvg依旧会因为client-drift而比SGD收敛速度更慢 提出Stochastic Controlled Averaging algorithm(S
联邦学习算法介绍-FedAvg详细案例-Python代码获取
热门推荐
Python领域优质萌新学习笔记
03-12 2万+
在DP-FedSGD中，被选中的参与方使用全局模型参数对局部模型进行初始化，通过批梯度下降法进行多轮梯度下降，计算梯度更新量。而在DP-FedAVG中，是利用一个批次的数据进行一次梯度下降，计算梯度更新量。由服务端收集各客户端的梯度信息，通过聚合计算后再分发给各客户端，从而实现多个客户端联合训练模型，且“原始数据不出岛”，从而保护了客户端数据隐私。假设中心方是好奇的，那么客户端通过某种规则向其他客户端广播梯度信息，收到梯度信息的客户端聚合参数并训练，将新的梯度信息广播。面向神经网络模型, 假设网络总共有。
论文阅读：SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning
三金samkam的博客
03-27 1876
论文名字 SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning 来源 年份 2020 作者 核心点 解决联邦学习在数据异构（non-iid）中的“客户漂移（client-drift）”现象 阅读日期 ...
联邦学习——简记
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
11-04 1702
参考文章：快速了解联邦学习技术及应用实践 相关论文推荐： 微众银行AI团队联邦学习相关论文下载地址
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值