Communication-Efficient Federated Learning for Wireless Edge Intelligence in IoT

最新推荐文章于 2023-08-07 20:32:44 发布
最新推荐文章于 2023-08-07 20:32:44 发布
阅读量1.1k 收藏
点赞数 2
分类专栏： 联邦学习 文章标签： 算法 分布式 机器学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44026293/article/details/115407643
版权

概述

这篇论文的脉络是比较清晰的，讲的就两件事：

  • 使用分布式的Adam优化来代替传统的FedAvg，减少通信轮次
  • 对模型进行压缩和解压缩，减少通信开销

算法

框架图

在这里插入图片描述
整个算法的步骤如上图所示：

  • 下载模型
  • 本地训练
  • 模型压缩
  • 上传模型
  • 模型解压
  • 模型聚合

从这里可以看到该论文提出的框架与传统的联邦框架并没有什么不同，唯二的区别在以下两个方面：

  • 本地训练使用的方法并不是SGD，而是AdamSGD，这两者的区别在于训练的步长是否发生变化
  • 在客户端上多了一个压缩模型的操作，相对应地在服务器上多了一个解压缩的操作

客户端

在这里插入图片描述
上图展示了客户端的本地训练、更新参数、压缩模型等操作，首先27行表示的是客户端从服务器上下载模型到本地；28-34行表示每个客户端都使用AdamSGD方法来进行训练；35-40行是客户端在本地对需要上传的模型参数进行压缩。压缩的方式有两种，分别是Uniform Quantization (UniQ)和Exponential Quantization (ExpQ)，由于我对于这些压缩/解压缩的算法不太熟悉，因此想要深入了解的可以找原论文看看…

服务器

在这里插入图片描述
与传统的FL一样，每一轮服务器都会选客户端的一部分子集来进行训练(line 5)，然后在6-18行，服务器使用相对应的解压缩方式来对上传的模型进行解压，并在20-22行，使用解压之后的模型参数来更新全局模型

压缩和解压缩

在这里插入图片描述
在这里插入图片描述
一共有两种对应的压缩/解压缩方式，分别是平均量化Uniform Quantization (UniQ)和指数量化Exponential Quantization (ExpQ)，有兴趣的可以看下原论文研究一下

总结

这篇论文所介绍的方法和所要解决的问题都是比较直接。文章的目标主要是达到两个目标：1.减少通信轮次。2.减少通信开销。然后使用的方法也是两种：1.AdamSGD。2.压缩/解压缩。

看下来的话有几点感受：

  • 好像IoT场景下的联邦跟普通场景下的联邦并没有什么太大的差别
  • 虽然这种压缩/解压缩的方式确实可以减少一部分的通信开销，因为确实能减少参数的数量，但也不可避免地对模型的参数造成一些损失。但我也想不到有更好的办法，因为这只是仅仅在模型参数层面上进行优化。其他的一些做法是对模型进行分段，然后在服务器上对应地分段聚合。目前主流的做法好像就这两种
  • 这篇文章用的AdamSGD方法也是现有的一种算法，好像算不上一种创新？并且在这片文章并没有对该算法在FL场景下进行改进，一开始我是抱着这种期待来看这篇文章的…
クズの本懐
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Blockchain-based Federated Learning for.pdf
01-07
主要贡献： 1）提出了一种基于区块链的联邦学习框架。将联邦学习和区块链应用于重载铁路系统，以保护运营商的数据隐私和安全。 2）引入了一种基于支持向量机的智能控制模型。
2019-稀疏三元压缩解决通信开销，考虑下行通信和noniid-Efficient Federated Learning fro
08-04
2019-稀疏三元压缩解决通信开销，考虑下行通信和noniid-Efficient Federated Learning from Non-IID Data1
李则熹-Wireless Federated Distillation for Distributed Edge1
08-04
李则熹-Wireless Federated Distillation for Distributed Edge1
(上大)组会报告题目汇总(持续更新~)
qq_33509110的博客
07-05 4418
(上大)组会报告题目汇总(持续更新~) 2021.7.1 VERIFL: Communication-Efficient and Fast Verifiable Aggregation for Federated Learning(TIFS) 2021.6.24 Scalable and redactable blockchain with update and anonymity(InfoS) 2021.6.17 Decentralized Privacy-Preserving Fair Exchange
FedPAQ: A communication-efficient federated learning method with periodic averaging and quantization
qq_45727498的博客
12-09 830
学习笔记之FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization
Communication-Efficient On-Device Machine Learning- Federated Distillation and Augmentation under ..
qq_45027419的博客
03-27 414
本文思想是通过(FAug) 增强数据使得每一个客户端的数据达到独立同分布，再通过(FD)来减少通信成本。由非独立同分布数据造成降低的精确度可以通过交换数据样本来部分恢复。联邦增强(FAUG)，一种使用生成对抗网络(GAN)的数据增强方案，。训练后的GAN授权每个设备本地再现所有设备的数据样本，从而使训练数据集成为IID。
【一种节省流量适用于iid的异构FL蒸馏方法】Communication-Efficient On-Device Machine Learning
热门推荐
学渣的博客
04-19 1万+
原文标题：Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data 本文主要的两个贡献：提出了 federated augmentation (FAug)，解决了 FL 场景下各 client 数据 non-iid 分布的问题。 提出了一种 FL 蒸馏技术，不交换模型参数（先前方法or传统FL 方法）而是交换输入数据对应的 out
Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记
Zoran的博客
05-20 1996
   本文提出使用使用联邦蒸馏 （federated distillation FD）和联邦增强（federated augmentation FAug）来解决联邦学习中客户端数据非独立同分布和客户端之间通讯开销大的问题。 Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data NIPS 2018 1.联邦蒸馏 在传统的联邦学
移动边缘网络中联邦学习效率优化综述
weixin_42303403的博客
03-06 1931
移动边缘网络中联邦学习效率优化综述
联邦学习（Federated Learning）介绍
土豆洋芋山药蛋的博客
04-21 5724
参考资料： Tensorflow官网教程：https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态：https://cn.fedai.org federated learning/联邦学习：https://daiwk.github.io/posts/dl-federated-learning.html Federated ...
Privacy-preserving and communication-efficient federated learning in Internet of Things.pdf
12-23
Privacy-preserving and communication-efficient federated learning in Internet of Things.pdf
matlab分时代码-Communication-Efficient-Federated-Learning:高效沟通的联合学习
05-21
matlab分时代码高效沟通的联合学习 请使用Matlab 2018b或更高版本运行仿真。 模拟包括三个主要文件：MINST，CIFAR和手指移动检测。 要运行MINST，必须首先下载MINST数据集。 然后，可以运行代码MIN-CPU.m或MIN-GPU.m...
联邦学习——FedAvg《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文笔记
weixin_45662974的博客
08-09 2866
目录论文链接一、摘要二、简介三、实验背景四、联邦优化与传统集中优化的区别五、FedAvg（FederatedAveraging） Algorithm六、实验结果1.增加并行性（每轮参与更新的用户数量）2.增加每个client的计算量3.其他模型数据集下的结果对比 最近开始了解联邦学习相关的内容，阅读了比较经典的FedAvg算法,并记录了一点笔记，如有错误，欢迎指正，感谢！ 论文链接 《Communication-Efficient Learning of Deep Networks from Dece.
note_Communication-Efficient Federated Learning for Heterogeneous Edge Devices Based on Adaptive Gra
最新发布
wanghuiyu001的博客
08-07 183
相似的思想解决，即：选取一个靠近。
联邦学习（Federated Learning）：技术角度的理解
weixin_45745854的博客
10-20 2001
联邦学习B站学习笔记
（阅读笔记）Federated Learning: Strategies for Improving Communication Efficiency
qq_42328228的博客
10-28 2679
提高联邦学习下的用户上行通信效率动机优化方法结构化更新”草图“更新实验结果 查阅文章请点击 动机 用户网络连接可靠性低，且通信传输相对缓慢，即上行速率远低于下行速率，使得用户传输网络参数或梯度给服务器的通信效率成为联邦学习的信息瓶颈。 提高用户上行链路通信效率的解决办法： 结构化更新：直接从一个受限空间学习更新，用较少的变量进行参数化。 ”草图“更新：学习一个完整的模型更新，压缩传输的网络参数或梯度，例如量化、随机旋转、子采样等。 优化方法 结构化更新 低秩梯度矩阵，固定AtiA_t^iAti​，
【联邦学习（Federated Learning）】- 横向联邦学习与联邦平均FedAvg
1+1=王的博客
03-30 5536
横向联邦学习也称为按样本划分的联邦学习，可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景，类似于在表格视图中对数据进行水平划分的情况。例如，两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体，所以他们的客户交集非常小，他们的数据集有不同的样本ID。然而，他们的业务模型非常相似，因此他们的数据集的特征空间是相同的。这两家银行可以联合起来进行横向联邦学习以构建更好的风控模型。
Federated Learning: Strategies for Improving Communication Efficiency
weixin_42303403的博客
03-09 379
联合学习：提高沟通效率的策略
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
qq_44026293的博客
12-06 3019
背景 传统的联邦学习在数据异构(non-iid)的场景中很容易产生“客户漂移”(client-drift)的现象，这会导致系统的收敛不稳定或者缓慢 贡献 提出了考虑到client sampling和数据异构的一个更接近的收敛边界 证明即便没有client sampling，使用全批次梯度(full batch gradients)，传统的FedAvg依旧会因为client-drift而比SGD收敛速度更慢 提出Stochastic Controlled Averaging algorithm(S
spreadgnn: serverless multi-task federated learning for graph neural network
04-30
本方法采用一种名为Federated Averaging的模型聚合方法，它将本地模型分发到各个设备上，让每个设备进行本地模型的训练，并将本地模型更新结果汇聚回全局模型中。spreadgnn还使用了一种名为联邦学习架构的方法来处理...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值