联邦学习论文阅读：Asynchronous Federated Optimization

最新推荐文章于 2025-01-14 22:10:12 发布
最新推荐文章于 2025-01-14 22:10:12 发布
阅读量4.3k 收藏 3
点赞数 2
分类专栏： 联邦学习 文章标签： 联邦学习 异步更新
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thormas1996/article/details/90699501
版权
这篇UIUC的arXiv论文探讨了在联邦学习中如何处理用户上传梯度的延迟问题。通过引入超参α，作者解决了延迟更新可能导致的收敛性和速度影响，提出了一种异步联邦学习算法，并证明了其在面对延迟时的收敛性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这是UIUC的一篇刚刚挂在arXiv上的文章：Asynchronous Federated Optimization。

我对边缘计算和异步算法不太了解，直观的理解是作为一个user，我上传的梯度参数是延迟的，也就是说central server当前已经更新过这次的梯度了，并且已经开始计算下一次甚至下下次的global gradient了，那么我这次的参数实际上是混在其他用户下一次更新的数据中的。

需要考虑的问题可能有：
1）有延迟后是否还能最终收敛？ 2）有延迟是否会让收敛变慢？

作者主要也是考虑这两个问题，提出了一个超参 α {\alpha} α，用于控制延迟的更新参数的权重。

摘要
之前联邦学习都是同步更新模型，对于横向联邦学习框架，手机端由于内存小，通信问题很容易造成上传延迟或是丢包等

最低0.47元/天 解锁文章
联邦学习论文阅读：Federated collaborative filtering
thormas1996的博客
04-02 3687
今年一月刚挂上arXiv的一篇联邦推荐文章Federated collaborative filtering for privacy-preserving personalized recommendation system。 摘要 作者将一个隐形反馈的CF模型修改成了联邦学习的框架，隐私性用Fed-Avg算法保证。总的来说，没什么创新。 问题 在保护用户隐私的情况下利用隐性反馈进行推荐 框架 ...
联邦学习（Federated Learning）
最新发布
dundunmm的博客
03-18 4189
联邦学习（Federated Learning, FL）是一种分布式机器学习技术，它允许多个参与方（如设备、机构或企业）在。（提升跨域泛化能力），推动AI在隐私保护下的协同发展。的方式，保护数据隐私的同时，实现跨数据源的联合建模。：联邦学习将进一步结合。（去中心化模型管理）、
【论文笔记 | 异步联邦】Asynchronous Federated Optimization
m0_46554918的博客
04-16 1850
Asynchronous Federated Optimization，OPT2020: 12th Annual Workshop on Optimization for Machine Learning，不属于ccfa。
OPT 2020 | FedAsync：异步联邦优化
KI的博客
02-23 5116
OPT 2020 | FedAsync：异步联邦优化
联邦学习论文阅读：Fair Resource Allocation in Federated Learning
thormas1996的博客
06-04 4193
arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~ Motivation 之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然...
FedAsync Asynchronous Federated Optimization
weixin_44836762的博客
03-05 1099
基线算法是引入的FedAvg，它实现了同步联邦优化。对于fedag，在每个epoch中，随机选择k = 10个设备启动本地更新。，也就是说，服务器在接收到本地模型时立即更新全局模型。服务器和工作线程之间的通信是非阻塞的。因此，服务器和工作人员可以随时更新模型而不需要同步，这对于设备具有异构条件时是有利的。数据集：CIFAR-10和WikiText-2。训练集被划分为n＝100个设备。小批量大小分别为50和20。我们用不同的学习率γ、正则化权值ρ、混合超参数α和过时性来测试FedAsync。
徐聪-Asynchronous Federated Optimization1
08-04
徐聪的"Asynchronous Federated Optimization1"探讨了一种新的异步联邦优化算法，旨在提高联邦学习的灵活性和可扩展性。联邦学习是一种在大量边缘设备上分散训练全局模型的技术，这些设备通常资源有限，如智能手机、...
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION
GJ_007的博客
03-26 2667
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION 论文中提出了一种异步联邦优化算法。 联邦优化的同步特性是不可伸缩的、低效的和不灵活的。同时签入的设备过多会导致服务器端的网络拥塞。在每个全局epoch中，服务器仅限于从可用设备的子集中选择以触发训练任务。 经典的异步SGD在每次本地更新后直接向服务器发送梯度，这对于边缘设备来说是不可行的，因为它的通信不可靠且缓...
联邦学习相关论文综述
ZongXS的博客
06-09 1493
联邦学习综述联邦学习综述联邦学习隐私保护研究进展三级目录 联邦学习综述 联邦学习隐私保护研究进展 三级目录
请看最新8篇ICML 2020投稿论文（包括：自监督学习、联邦学习、图学习、数据隐私、语言模型、终身学习）.zip
02-22
2020的机器学习在研究什么？请看最新8篇ICML2020投稿论文：自监督学习、联邦学习、图学习、数据隐私、语言模型、终身学习…通过作者们放到 ArXiv 上的 ICML 投稿文章，一窥 ICML2020中的 重要的几篇论文究竟在研究什么？
联邦学习--论文汇总（十一）
weixin_45671820的博客
05-19 2185
回归老本行，Non-iid !!! 【1】SEPARATE BUT TOGETHER: UNSUPERVISED FEDERATED LEARNING FOR SPEECH ENHANCEMENT FROM NON-IID DATA, arXiv:2105.04727v1. 分离但在一起:基于non-iid数据中增强语音的无监督联邦学习 FedEnhance: 一种无监督的联邦学习，用于跨多个客户端non-iid分布式数据的语音增强和分离。迁移学习促进收敛和学习性能。 现状 从高保真的混合声音分离出单独的声
Asynchronous Federated Optimization论文阅读笔记
SXxtyz的博客
03-09 1100
摘要 联邦学习使得可以在大量的边缘设备上进行训练。为了提高灵活性和拓展性，我们提出了一种新的异步联邦学习优化算法。我们证明了对于强凸问题和非凸问题，以及有限类非凸问题，提出的方法都具有接近线性收敛的全局最优解。实验结果表明，提出的算法在不同的场景中都能快速收敛且能容忍陈旧（这边翻译可能不合理）。 简介 联邦学习系统一般会有多个server和worker（即client）组成，其组成结构与参数服务器相似。worker会在当地的隐私数据上进行训练，server会聚合各个worker的学习模型并更新全局模型。 联
联邦学习论文精读—Communication-Efficient Learning of Deep Networks from Decentralized Data
一个学长的博客
10-10 3320
本文精读了联邦学习的始祖论文 Communication-Efficient Learning of Deep Networks from Decentralized Data，逐句精读了摘要到未来展望，并详细翻译了伪代码和实际结果部分。
使用异步联邦学习优化边缘设备上的持续语音识别更新：在保证用户隐私的前提下，使边缘设备能够不断适应新口音和语言变化的技术详解
qq_36287830的博客
01-14 852
联邦学习是一种新兴的人工智能训练方法，它允许多个参与者共同训练一个机器学习模型而无需共享他们的原始数据。每个参与者只会在自己的设备上训练模型，并周期性地发送更新给中央服务器，由服务器汇总并生成全局模型。
联邦学习研究方向及论文推荐（一）
weixin_74181752的博客
06-03 6418
关于联邦学习的概念在网上资源丰富，但是考虑到有些同学在接触时缺少对研究方向细致了解而困恼，根据一些综述论文博客等资料为大家做个易于理解的详细介绍。由于内容较多且分为两部分。
联邦学习论文汇总---十六
weixin_45671820的博客
06-04 1744
Client-Edge-Cloud Hierarchical Federated Learning 客户端–云分层联邦学习 背景 1.云或边缘只有一个中心参数服务器， 2.深度学习在强大的计算平台训练，终端设备生成和分发转移到中央服务器时，违反隐私问题。 创新点 1.允许多个边缘服务器执行部分模型聚合， 2.引入中间边缘服务器，减少模型训练时间和终端设备的能量消耗 3.基于边缘的联邦学习，参数服务器位于邻近边缘（基站），但是服务器访问的客户端数量有限，训练性能损失。 4.与云边端相比，分层的联邦学习减少与云
深度学习资源精选：分布式系统与NLP技术
12. 联邦学习（Federated Learning）： 联邦学习是一种分布式机器学习方法，它允许多个参与者（例如移动设备或服务器）在本地训练模型，并将学习到的模型更新共享给中央服务器进行汇总，以在保护数据隐私的前提下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值