论文笔记：联邦学习——Federated Learning: Strategies for Improving Communication Efficiency

最新推荐文章于 2023-07-27 19:56:47 发布
最新推荐文章于 2023-07-27 19:56:47 发布
阅读量2.5k 收藏 7
点赞数 6
分类专栏： 联邦学习必读论文 文章标签： 论文阅读 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuzeyao_Newton/article/details/126883862
版权
本文提出两种策略（structured updates和sketched updates）以减少联邦学习中的通信成本，实验表明这些方法能在保持模型精度的同时，显著降低通信开销。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Federated Learning: Strategies for Improving Communication Efficiency

文章目录

论文链接: link

论文结构

Abstract
1. Introduction
2. Structured Update
3. Sketched Update
4. Experiments

一、摘要核心

背景介绍：
介绍联邦学习的思想、算法，说明通信效率的重要性。

文章亮点：
提出两种降低上行通信成本的方法： structured updates 和 sketched updates
① structured updates：直接从一个有限的空间学习更新，可以使用更少的变量参数化。
②sketched updates ：学习一个完整的模型更新，压缩后发给服务器。

优势：
在卷积网络和递归网络上的实验表明，该方法可以将通信成本降低两个数量级。

二、 Introduction

  1. 现有机器学习算法环境需要数据平衡和独立同分布i.i.d.的，和可用的高通量的网络；
    而联邦学习的限制是客户数量众多，高度不平衡和non-i.i.d.的数据，以及相对较差的网络连接。
  2. 联邦学习的同步算法，其中典型的一轮学习包括以下步骤：
    （1）客户端的子集都下载现有的模型
    （2）每个子集的客户基于本地数据计算模型更新
    （3）将模型更新发送到服务器
    （4）服务器聚合模型更新，构建一个改进的全局模型
  3. 说明降低通信成本的重要性
    （1）联邦学习的瓶颈：需要客户端向服务器发送一个完整的模型
    （2）因素：
    网络连接速度的不对称性；
    现有的模型压缩方案可以减少下载当前模型所需的带宽并建立加密协议，进一步增加需要上传的比特量。
  4. 描述问题
    ① 假设所有的参数都在一个矩阵W中， W ∈ R d 1 × d 2 W\in\mathbb{R}^{d1×d2} W∈Rd1×d2
    ② 第t轮时，服务器将当前模型 W t W_t Wt​分配到 s t s_t st​客户端的一个子集 s t s_t st​中，客户端基于本地数据独立更新模型。
    ③ client i 的更新为 H t i H{_t^i} Hti​= W t i W{_t^i} Wti​- W t {W_t} Wt​
    ④ 客户端将更新传给服务器，服务器进行全局更新。 学习率设为1
    在这里插入图片描述
  5. 论文在描述神经网络时，使用二维矩阵 W表示每一层的参数。而卷积核的结构是四维的张量#input × width × height × #output，用二维矩阵 来表达是（# input × width × height）× #output。

三、Structured Update

直接训练结构的更新

限制更新 H t i H{_t^i} Hti​有是指定的结构，文中考虑两种结构：low rank and random mask.

low rank

强制使更新矩阵 H t i H{_t^i} Hti​的秩不超过k，

将更新矩阵写成乘积的形式 H t i H{_t^i} Hti​

最低0.47元/天 解锁文章
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-27 1万+
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史/系统及其架构)、系统及其架构、场景应用之详细攻略 目录 联邦学习的简介 联邦学习系统及其架构 联邦学习的场景应用 联邦学习的简介 1、联邦学习诞生的背景 背景 随着公众对保护隐私数据诉求的日趋强烈，以及政策制定者也越来越意识到隐私的重要性。同时，在数据实践中，对保护隐私的机器学习的需求也正在上升，对于数据的访问受到越来越多的审查，对联邦
联邦学习在跨机构医疗数据分析中的实践
最新发布
AI天才研究院
10-31 1097
联邦学习在跨机构医疗数据分析中的实践 摘要 随着医疗数据的爆炸性增长，如何在保障数据隐私的前提下，实现跨机构医疗数据的有效分析和利用成为了一项重要挑战。联邦学习（Federated Learning）作为一种新兴的数据分析技术，通过分布式训练模型的方式，使得不同机构的医疗数据可以在不共享原始数
Federated Learning: Strategies for Improving Communication Efficiency
weixin_42303403的博客
03-09 575
联合学习：提高沟通效率的策略
论文笔记--FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY
weixin_38124427的博客
07-27 1868
基于预置结构和模型压缩的联邦学习，实现客户端和中央服务器的更高效的交流
（阅读笔记）Federated Learning: Strategies for Improving Communication Efficiency
qq_42328228的博客
10-28 3153
提高联邦学习下的用户上行通信效率动机优化方法结构化更新”草图“更新实验结果 查阅文章请点击 动机 用户网络连接可靠性低，且通信传输相对缓慢，即上行速率远低于下行速率，使得用户传输网络参数或梯度给服务器的通信效率成为联邦学习的信息瓶颈。 提高用户上行链路通信效率的解决办法： 结构化更新：直接从一个受限空间学习更新，用较少的变量进行参数化。 ”草图“更新：学习一个完整的模型更新，压缩传输的网络参数或梯度，例如量化、随机旋转、子采样等。 优化方法 结构化更新 低秩梯度矩阵，固定AtiA_t^iAti​，
联邦学习论文笔记——FedFair: Training Fair Models In Cross-Silo Fedrated Learning
qq_35576563的博客
11-27 885
**本文的工作：** 1）提出了一种联合估计方法，在不侵犯任何一方数据隐私的情况下，准确估计模型的公平性。 2）证明了联合估计方法比局部估计模型对单个参与者的公平性更准确，这导致在跨竖井联合学习中具有更好的公平模型训练性能。 3）构建了新的FedFair问题;开发了一个有效的联合学习框架来解决这个问题，而不侵犯任何一方的数据隐私。 4）充分的的实验
【联邦学习论文笔记1】Label Inference Attacks Against Vertical Federated Learning
qq_39736373的博客
07-17 3101
联邦学习分类水平联邦学习(HFL)——特征空间相同，样本空间不同，如两个区域银行的协作；垂直联邦学习(VFL）——样本空间相同，特征空间不同，如一个银行和一个电商的协作。VFL典型应用场景少数参与者(通常是两个)协同训练一个机器学习(ML)模型，该模型的特征分布在参与者之间，但标签只属于其中一个参与者，因此保护其中一个参与者拥有的标签的隐私应该是VFL提供的基本保障，因为这些标签可能是高度敏感的。...............
联邦学习（Federated Learning）介绍
土豆洋芋山药蛋的博客
04-21 6034
参考资料： Tensorflow官网教程：https://www.tensorflow.org/federated/ 联邦学(federated learning)习生态：https://cn.fedai.org federated learning/联邦学习：https://daiwk.github.io/posts/dl-federated-learning.html Federated ...
联邦学习——FedAvg《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文笔记
weixin_45662974的博客
08-09 3731
目录论文链接一、摘要二、简介三、实验背景四、联邦优化与传统集中优化的区别五、FedAvg（FederatedAveraging） Algorithm六、实验结果1.增加并行性（每轮参与更新的用户数量）2.增加每个client的计算量3.其他模型数据集下的结果对比 最近开始了解联邦学习相关的内容，阅读了比较经典的FedAvg算法,并记录了一点笔记，如有错误，欢迎指正，感谢！ 论文链接 《Communication-Efficient Learning of Deep Networks from Dece.
【联邦学习论文笔记3】FederatedScope: A Flexible Federated Learning Platform for Heterogeneity
qq_39736373的博客
07-27 3658
结果表明，不同的模糊推理算法适用于不同的模糊推理应用，可能与数据的类型、数据分布的异质性、采用的模型的归纳偏差、抽样的客户端数量等有关，这些在联邦学习中仍然是一个有待解决的问题。提供了ModelZoo来统一FL应用中使用的骨干模型，其中包括广泛使用的模型体系结构，如用于计算机视觉任务的ConvNet和VGG，用于自然语言处理任务的LSTM，以及用于图学习的GNNs、GraphSAGE和GPR-GNN。服务器的聚合器以客户的反馈作为输入(如更新的模型和训练数据的统计数据)，输出聚合后的数据。......
联邦学习：论文阅读小笔记（1）
qq_44858786的博客
08-05 462
联邦学习论文学习；学习论文：《联邦学习研究综述》
联邦学习---论文汇总笔记（十四）
weixin_45671820的博客
06-03 1058
FedCD: Improving Performance in non-IID Federated Learning FedCD（克隆和删除模型动态地对相似数据的设备分组） 1.机器学习的目标是在不同的数据源下效果都很好，数据受到隐私严格约束，有限的通信带宽和内存。 2.在Non-iid下导致不同设备的更新冲突，训练轮之间明显震荡，收敛速度变慢。 创新 在指定时刻（位置），克隆全局模型，自适应更新全局的高分子模型，删除表现不佳的模型，为每个原型生成一个专门的模型，通过维护多个全局模型，优先更新在本地表现良
【联邦/元学习】个性化联邦学习论文笔记：《Improving federated learning personalization via model agnostic meta learning》
BlueBlue
10-27 2575
论文：《Improving federated learning personalization via model agnostic meta learning》 Citation：Y. Jiang, J. Konecny, K. Rush, and S. Kannan, “Improving federated learning personalization via model agnostic meta learning,” arXiv preprint arXiv:1909.12488, 201
Secure Federated Transfer Learning （论文翻译与拓展）
weixin_44774630的博客
08-07 1745
Secure Federated Transfer Learning 安全联邦迁移学习（论文翻译与笔记） ·摘要 机器学习依赖于大量训练数据的可用性。然而，在现实中，大多数数据分散在不同的组织中，无法在许多法律和实际约束下轻松集成。在本文中，我们引入了一种新的技术和框架，称为联邦迁移学习(FTL)，以改进数据联合下的统计模型。该联合允许在不损害用户隐私的情况下共享知识，并允许补充知识在网络中可以传...
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
翻译--ASYNCHRONOUS FEDERATED LEARNING IN PYSYFT(PYSYFT中的异步联邦学习)
ruiyiin的专栏
05-10 1348
在这篇文章中，我们提供了使用PySyft应用联邦学习的展示。PySyft是一个开源python库，用于从OpenMined社区进行安全和私有的深度学习。它将私人数据与模型训练分离。 在联邦学习中，每个边缘设备都处理自己的数据以进行训练，避免将其发送给另一个实体，从而保护了隐私。此外，训练阶段的主要处理工作是在设备上完成的，因此与在数据中心进行训练相比，减少了必要的带宽和数据处理。所有设备都可以通过组合其AI模型相互学习，这可以由可以放置在云中或边缘的中央协调节点完成。由于从设备发出的信息是最终的AI模型更
FetchSGD: Communication-Efficient Federated Learning with Sketching
qq_44026293的博客
01-02 2003
背景 现有的联邦学习方法存在通信瓶颈和收敛性两个问题，该篇论文介绍了一种新的FL训练方法，叫做FetchSGD，旨在解决上述两个问题。 论文思想 该论文的主要思想是，用Count Sketch来对模型参数进行压缩，并且根据sketch的可合并性(mergeability)在服务器上对模型进行聚合。由于Count Sketch是线性的，因此局部模型上的momentum（不知道怎么翻译好，动量？）和error accumulation（错误累计）都会被带到服务器上，我们便可以在服务器上基于这些信息得到一个更佳的
「隐语小课」联邦学习之通信优化
m0_69580723的博客
09-07 3644
联邦学习将传统机器学习中的数据聚合转换成模型聚合，即client和server在联邦训练过程中需要进行模型传输或梯度传输。随着任务复杂性和对模型性能要求的逐渐提升，神经网络的层数呈逐渐加深的趋势，模型参数也相应的越来越多。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值