联邦学习论文阅读:Asynchronous Federated Optimization

这篇UIUC的arXiv论文探讨了在联邦学习中如何处理用户上传梯度的延迟问题。通过引入超参α,作者解决了延迟更新可能导致的收敛性和速度影响,提出了一种异步联邦学习算法,并证明了其在面对延迟时的收敛性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这是UIUC的一篇刚刚挂在arXiv上的文章:Asynchronous Federated Optimization

我对边缘计算和异步算法不太了解,直观的理解是作为一个user,我上传的梯度参数是延迟的,也就是说central server当前已经更新过这次的梯度了,并且已经开始计算下一次甚至下下次的global gradient了,那么我这次的参数实际上是混在其他用户下一次更新的数据中的。

需要考虑的问题可能有:
1)有延迟后是否还能最终收敛? 2)有延迟是否会让收敛变慢?

作者主要也是考虑这两个问题,提出了一个超参 α {\alpha} α,用于控制延迟的更新参数的权重。

摘要
之前联邦学习都是同步更新模型,对于横向联邦学习框架,手机端由于内存小,通信问题很容易造成上传延迟或是丢包等

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值