Communication-efficient asynchronous federated learning inresource-constrained edge computing

最新推荐文章于 2024-04-25 13:29:31 发布
最新推荐文章于 2024-04-25 13:29:31 发布
阅读量808 收藏 7
点赞数 1
分类专栏： 异步联邦学习 文章标签： edge 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42447364/article/details/122468076
版权

文献来源
Computer Networks
journal homepage: www.elsevier.com/locate/comnet
文献作者
Jianchun Liu a , Hongli Xu b , ∗ , Yang Xu b , ∗ , Zhenguo Ma b , Zhiyuan Wang b , Chen Qian c , He Huang d
发表日期2021

目录

一、摘要

背景

贡献

二、介绍

1.边缘学习

2.联邦学习

3.联邦学习的两种方案

 4. CE-AFL

 5.SQP-PA

三、性能评估

1. baseline

2. 单任务学习

3.α的确定

4. 多任务学习

一、摘要

联邦学习(FL)已被广泛应用于边缘计算中在大量数据上训练机器学习模型。然而，现有的FL解决方案可能会导致训练时间长或高资源（例如，带宽）成本，因此不能直接应用于资源受限的边缘节点，如基站和接入点。在本文中，我们提出了一种新的通信高效异步联邦学习(CE-AFL)机制，在该机制中，参数服务器将只聚合所有边缘节点在每个边缘节点的0<𝛼<1。研究证明，我们设计了有效的算法，在带宽约束下确定两种CE-AFL、单任务学习和多任务的𝛼的最优值。有效证明了该算法的收敛性。通过在JetsonTX2、深度学习工作站和广泛的实验来评估我们算法的性能。在经典模型和数据集上的实验结果和仿真结果都表明了我们所提出的机制和算法的有效性。例如，与最先进的解决方案相比，CE-AFL可以减少约69%的训练时间，同时达到相似的精度，即使在资源受限情况下训练模型的精度也提高约18%。

背景

  • 边缘节点带宽、内存、计算等资源有限
  • 数据不平衡性
  • 边缘节点不确定性

贡献

  • 设计了一种通信效率高的异步联邦学习(CE-AFL)的边缘计算机制，并正式证明了CE-AFL的收敛性。
  •  我们提出了有效的算法来确定两种CE-AFL、单任务学习和多任务学习的𝛼最优值，从而在带宽约束下实现更少的训练时间。并证明了该算法的收敛性。
  • 在经典模型和数据集上的大量实验表明了所提出的机制和算法的有效性。与最先进的解决方案相比，CE-AFL算法机制可以在资源约束下将训练时间减少约69%，并将训练模型的精度提高18%。

二、介绍

1.边缘学习

2.联邦学习

3.联邦学习的两种方案

  • 同步学习

从所有指定边缘节点接收在本地训练过的模型，中央服务器将聚合这些本地模型，对全局模型进行更新并将更新后的参数发送边缘节点（all？）

缺点❌

  1. 训练时间取决于所有边缘节点之间最大的训练时间
  2. 所有边缘节点更新的本地模型将经常转发到中央服务器，在同步方案中聚合，这将消耗大量的网络带宽。
  • 异步学习

第二种方法是在边缘进行异步联邦学习，它允许部分（不是所有）工作者将更新后的模型转发到参数服务器上，以便在每个时期进行模型聚合。由于不需要参数服务器等待来自所有边缘节点的本地更新，因此与同步方案相比，该方案可以很好地处理数据不平衡。

 4. CE-AFL

  • 算法描述

  •  对比同步FL

其中，α=1/2，当收到两个workes的本地模型更新时，则全局就更新一次，很明显 CE-AFL更新次数要大于同步FL。换句话说，就是在相同的时间预算约束下，CE-AFL将比同步方案执行更多的全局更新和收敛速度更快。

Problem（模型陈旧）：在t1、t2阶段已经收到了来自worker1 2 4 的数据更新但是从来没有收到3的数据，。为了减轻延迟更新影响引入了延迟补偿的机制。MG表示当前全局模型更新，𝑀𝑖，∀𝑖∈{1，…，4}，表示最新的本地更新模型。在服务器收到两次来worker#1的本地模型后，模型𝑀1将用衰减系数𝜍进行更新，

 提出了四种假设并证明了该算法具有收敛性。

5.SQP-PA

  •  算法描述

三、性能评估

1. baseline

  • ADP-FL： 属于同步FL方案。在一个epcho中，服务器可以通过线性搜索自适应地确定本地更新的数量，以尽量减少给定资源预算下的损失函数。

  • AFO：异步联邦优化算法

2. 单任务学习

The number of training epochs by CE-AFL is significantly fewer than that of AFO. For example, with CNN training over the FMNIST dataset, the number of required epochs by CE-AFL (𝛼 = 0 . 3 ) and AFO is about 590 and 1880, respectively.

3.α的确定

 

4. 多任务学习

improve the minimum accuracy by about 8% and 18% compared with ADP-FL and AFO, respectively.
因此，与AFO和ADP-FL相比，所提出的CE-AFL框架可以将最小精度分别提高约9%和5%。这些结果表明，在资源约束条件下，与两种基准测试相比，CE-AFL可以显著提高分类精度。

 

BigData_0504
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
asynchronous-federated-learning:联合学习系统上的数据不平衡和异步聚合算法的研究（使用PySyft）
05-04
使用PySyft进行异步FL 我的学士学位项目，满足万隆理工学院的学位要求 塞纳帕蒂·桑·迪旺卡拉（Senapati Sang Diwangkara），13516107 该发表在 这项工作研究了聚合算法中异步性的影响（即，当节点的训练回合/历元不必彼此同步时）。 我尤其对数据不平衡的影响感兴趣。 从直觉上讲，如果我们有一些在两个节点之间划分的正确/错误数据集，但是每个节点仅包含正确或错误数据，并且一个节点比另一个节点快，那么与经过训练的模型相比，训练后的模型应该比模型更差集中训练吧？ 因此，在这里，我们试图定量验证该直觉。 实验架构 客户端在src/client.py中实现。 它将缓冲一些客户端线程以连接到每个服务器，并使用评估程序定期评估最新模型。 每个客户端线程都将使用evaluator_q变量与评估程序进程通信，该变量充当队列。 线程将排队其评估顺序，并且将由评估器进程使用，评
徐聪-Asynchronous Federated Optimization1
08-04
徐聪-Asynchronous Federated Optimization1
翻译--ASYNCHRONOUS FEDERATED LEARNING IN PYSYFT(PYSYFT中的异步联邦学习)
ruiyiin的专栏
05-10 1178
在这篇文章中，我们提供了使用PySyft应用联邦学习的展示。PySyft是一个开源python库，用于从OpenMined社区进行安全和私有的深度学习。它将私人数据与模型训练分离。 在联邦学习中，每个边缘设备都处理自己的数据以进行训练，避免将其发送给另一个实体，从而保护了隐私。此外，训练阶段的主要处理工作是在设备上完成的，因此与在数据中心进行训练相比，减少了必要的带宽和数据处理。所有设备都可以通过组合其AI模型相互学习，这可以由可以放置在云中或边缘的中央协调节点完成。由于从设备发出的信息是最终的AI模型更
TrisaFed：异步联邦学习框架
weixin_51306020的博客
08-16 2125
AFL在实际应用中更具有普适性，它能适应于设备不断变化（单个设备自身的硬件性能、添加去除设备、多异构设备协同）的现实场景，并极大地提升联邦学习的训练效率。 本文针对异步联邦学习固有的过度拟合、通讯受限、加权聚合等问题，提出了提出TrisaFed，针对三大挑战分别提出应对策略：ICA根据信息型客户端激活策略激活具有丰富信息的客户端、MLU多层更新策略来优化客户端和服务器的交互、时权退减策略（TWF）和丰富权重增强策略（IWE） 增强聚合函数。...
Communication-Efficient Federated Learning for Wireless Edge Intelligence in IoT
qq_44026293的博客
04-02 1105
概述 这篇论文的脉络是比较清晰的，讲的就两件事： 使用分布式的Adam优化来代替传统的FedAvg，减少通信轮次 对模型进行压缩和解压缩，减少通信开销 算法 框架图 整个算法的步骤如上图所示： 下载模型 本地训练 模型压缩 上传模型 模型解压 模型聚合 从这里可以看到该论文提出的框架与传统的联邦框架并没有什么不同，唯二的区别在以下两个方面： 本地训练使用的方法并不是SGD，而是AdamSGD，这两者的区别在于训练的步长是否发生变化 在客户端上多了一个压缩模型的操作，相对应地在服务器上多了一个解压
【解读】通过客户端采样实现高效通信效率联邦学习 Communication-Efficient Federated Learning via Optimal Client Sampling
De-Alf的博客
06-15 551
汇总本地模型需要在客户端和中央服务器之间频繁通信大量信息。本文提出了一种新颖、简单和有效的方法，在通信受限制的情况下基于从具有信息更新的客户端收集模型并估计未传递的本地更新来更新中央模型。特别地，通过奥恩斯坦-乌伦贝克过程对模型权重的进展进行建模，我们可以推导出一种选择具有显着权重更新的客户端子集的最佳采样策略。中央服务器仅从所选客户端收集更新的本地模型，并将其与未被选中进行通信的客户端的估计模型更新相结合。
联邦学习——FedAvg《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文笔记
weixin_45662974的博客
08-09 2820
目录论文链接一、摘要二、简介三、实验背景四、联邦优化与传统集中优化的区别五、FedAvg（FederatedAveraging） Algorithm六、实验结果1.增加并行性（每轮参与更新的用户数量）2.增加每个client的计算量3.其他模型数据集下的结果对比 最近开始了解联邦学习相关的内容，阅读了比较经典的FedAvg算法,并记录了一点笔记，如有错误，欢迎指正，感谢！ 论文链接 《Communication-Efficient Learning of Deep Networks from Dece.
Asynchronous Methods for Deep Reinforcement Learning-笔记
jiayoudangdang的博客
02-22 1776
Asynchronous Methods for Deep Reinforcement Learning 深度强化学习的异步方法 0 摘要 我们为深度强化学习提出了一个概念上简单轻巧的框架，该框架使用异步梯度下降来优化深度神经网络控制器。我们提出了四种标准强化学习算法的异步变体，并表明并行actor学习器对训练具有稳定作用，允许所有四种方法成功地训练神经网络控制器。性能最优的方法是actor-critic的异步变体，它在单个多核CPU（而不是GPU）上以一半的时间进行训练，超越了Atari域上的当前技
异步联邦学习-能耗：Energy-Efficient Dynamic Asynchronous Federated Learning in Mobile Edge Computing Networks
CBCY_csdn的博客
11-15 299
为了打破数据孤岛并解决绿色通信的挑战，联邦学习（FL）被广泛应用于移动边缘计算（MEC）网络中，用于在网络边缘训练深度学习模型。然而，许多现有的FL算法并未充分考虑动态环境，导致模型收敛较慢且训练能耗较大。在本文中，我们设计了一个动态异步联邦学习（DAFL）模型，以提高MEC网络中FL的效率。具体而言，我们根据它们的到达顺序动态选择一定数量的移动设备（MDs）参与每个时期的全局聚合。与此同时，我们分析了本地更新和上传更新的能耗模型，并将问题制定为一个NP-hard的动态顺序决策问题，以最小化能耗。
Adaptive Asynchronous Federated Learning in Resource-Constrained Edge Computing
weixin_45627598的博客
05-11 309
边缘计算中资源受限的自适应异步联邦学习
移动边缘网络中联邦学习效率优化综述
weixin_42303403的博客
03-06 1845
移动边缘网络中联邦学习效率优化综述
The Task-based Asynchronous Pattern（TAP）
02-13
The Task-based Asynchronous Pattern (TAP) is a new pattern for asynchrony in the .NET Framework. It is based on the Task and Task<TResult> types in the System.Threading.Tasks namespace, which are used...
ram.rar_32 bit asynchronous_32-bit Asynchronous_双端口异步RAM
09-25
宽度为 4 位深度为 32 的双端口异步 RAM
2019-高效异步通信聚合-Communication Asynchronous Model Update and Tempor
08-03
with Asynchronous Model Update and TemporallyYang Chen, Xiaoyan Sun, Yaochu Jin,
Microsoft Edge浏览器：高效、简洁、个性化的网页浏览体验
最新发布
weixin_67244432的博客
04-25 212
5. 笔记功能：用户可以在浏览网页时使用Microsoft Edge的笔记功能，对网页内容进行标注、截图等操作，方便记录和分享。2. 性能优越：由于基于Chromium内核，Microsoft Edge在性能方面表现非常出色，页面加载速度快，运行稳定。6. 扩展插件：Microsoft Edge支持安装各种扩展插件，用户可以根据自己的需求选择合适的插件，提高浏览体验。8. 隐私保护：Microsoft Edge提供了跟踪防护功能，可以阻止网站跟踪用户的浏览行为，保护用户隐私。
Edge的使用心得与深度探索
智光工作室
04-24 668
例如，它支持使用鼠标手势进行快捷操作，可以通过关键字搜索直接进入特定的网站，还可以自定义快捷键，提高操作效率。此外，Edge还支持扩展程序的安装，用户可以根据自己的需求选择适合自己的插件，丰富浏览器的功能。同时，它的丰富设置和隐藏功能也给我留下了继续深入探索的动力。我相信，随着不断的更新和改进，Edge会越来越好，成为更多用户的首选浏览器。阅读模式可以对网页进行优化，去除广告和多余的内容，让我更加专注于阅读文章的内容。同时，它还具有优秀的资源管理能力，即使打开多个标签页，也不会明显影响电脑的运行速度。
Edge下载文件提示无法安全下载的解决方法
Shiny_boy_的博客
04-25 1295
window+r 输入 regedit 打开注册表。最后新建字符串值：名称1，值[*.]
Microsoft Edge：探索你可能未充分利用的8个实用功能
stormsha
04-23 1120
自从微软推出Edge浏览器以来，其卓越的性能已赢得广大用户的青睐，让许多人不再依赖第三方浏览器。然而，Edge远不止于此，它内含诸多创新功能，等待你去发掘和利用。以下为你揭秘八项可能尚未察觉的Edge实用功能，助你提升工作效率，优化浏览体验。
Three-Phase Asynchronous Machine Starting，要改成大容量的，起码5kkw
05-24
对于大容量的三相异步电机起动，通常需要使用起动器和变频器来实现。起动器用于控制电机的起动过程，而变频器则用于控制电机的速度和运行。以下是一个可能的起动过程： 1. 先进行空载试运行，检查电机是否正常工作。 2. 在电机转子上加装起动器，通过起动器施加启动电流，使电动机开始转动。 3. 当电机转速达到一定值时，可以逐步减少起动器输出的电流，同时增加变频器的输出电压，以控制电机的速度和加速度。 4. 当电机达到额定转速后，可以切换至主电源供电，并逐步减少变频器的输出电压，以使电机稳定运行。 需要注意的是，在大容量电机起动时，可能会产生很高的启动电流和启动扭矩，因此需要选择合适的起动器和变频器，以保证电机正常启动和运行。同时，还需要进行充分的安全措施，以避免电机启动时的危险。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值