FedProto：跨异构客户端的联邦原型学习

最新推荐文章于 2024-07-17 16:00:59 发布
最新推荐文章于 2024-07-17 16:00:59 发布
阅读量773 收藏 7
点赞数 4
分类专栏： 联邦学习 文章标签： 学习 css css3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiger00O/article/details/129476140
版权
此博客围绕CSS和CSS3展开，虽未给出具体内容，但从标签可知与这两种前端技术的学习有关，CSS和CSS3是前端开发中用于页面样式设计的重要技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

基于动态阈值增强原型网络的联邦半监督学习模型
罗伯特技术屋
06-26 167
考虑FSSL的标准场景下, 服务器端是没有数据的, 每个参与的客户端i∈Mri∈Mr都有一个Non-IID的私有数据集Di=Dli∪DuiDi=Dil∪Diu，即有标签数据和无标签数据。DliDil={(xl1x1l, yl1y1l),(xl2x2l,yl2y2l),···,(xlnxnl,ylnynl)}为n个有标签数据集合。DuiDiu={(xu1x1u,yu1y1u),(xu2x2u,yu2y2u),···,(xumxmu,yumymu)}为m个无标签数据集合。
FedProx论文阅读笔记
联邦学习小白
07-04 7936
《FEDERATED OPTIMIZATION IN HETEROGENEOUS NETWORKS》这篇文章提出了一个基于FedAvg的优化框架Fedprox，主要在于解决FedAvg未曾处理的联邦学习中的异构性问题，并提供了更强的鲁棒性。 FedAvg 在FedAvg中，每个设备在模型训练过程中具有相同的学习率和迭代次数。在每一轮更新中，被选中参与本轮训练的设备K在本地运行E轮SGD，每个设备将更新结果返回给服务器，服务器对得到的模型更新进行平均从而获得全局更新，并完成本轮训练。伪代码如Algorithm
【论文阅读】FedProto: Federated Prototype Learning across Heterogeneous Clients
YasmineC的博客
04-10 3237
在进行联邦学习中解决异质性问题的调研，这篇文章发表于2022的AAAI，使用原型来解决这部分问题，同时还使用“模型异构“的概念（之前一般见到的都是系统异构）。 一、阅读目标 了解使用原型学习解决异质性的思路，以及可以借鉴的方向 区分模型异构与系统异构两个概念，并总结 二、问题回答 构建以类别为单位的原型，服务器端通过原型的传递代替模型的聚合，并将聚合的原型返回客户端用于训练 我认为二者是从属关系，模型异构应该属于系统异构的一个方面，但现在没有官方定义，大家仍然混用 三、摘要 动机：客户端之
FedProto:跨异构客户端的联邦原型学习(论文阅读)
最新发布
m0_73195494的博客
07-17 1773
在联邦学习(FL)中，当客户端知识在梯度空间中聚集时，客户端间的异构性通常会影响优化的收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这很容易导致其局部梯度的不对齐。为了提高对异构的容忍度，我们提出了一种新的联邦原型学习框架(federalprototype learning, FedProto)，在该框架中，客户端和服务器端通过抽象类原型而不是梯度进行通信。
Fedproto:原型聚合的联邦学习框架
weixin_47754029的博客
07-17 1877
文中说明，联邦学习通过计算传递梯度聚合模型时，客户端之间的异构性通常会阻碍模型优化收敛和泛化性能。故本文提出新的FedProto框架，将梯度替换成为原型，通过计算、聚合从不同客户端收集到的本地原型，然后将全局原型发送回所有客户端，以规范本地模型的训练。对每个客户机进行局部训练的目的是最小化对本地数据的分类损失，同时保持生成的本地原型足够接近相应的全局原型（损失函数最小+正则）。什么是原型？文中提到：“
联邦学习简介之 FedProto: Federated Prototype Learning across Heterogeneous Clients 阅读笔记
hellozhxy的博客
11-22 627
FedProto: Federated Prototype Learning across Heterogeneous Clients》发表在 2022 年的人工智能顶级会议 AAAI 上，此篇论文旨在解决联邦学习客户端模型和数据异构的问题，并设计了一个简洁且优美的原型学习方法。此篇论文是我个人非常喜欢的一篇联邦学习论文，此方法简洁优美且有效！此篇博文对其核心思想进行阐述，希望可以帮助对此篇论文感兴趣的小伙伴～～～注：笔者水平有限，若有描述不当或错误的地方，敬请大家批评指正！
FedProto: Federated Prototype Learning across Heterogeneous Clients
07-12
C知道: FedProto是一个基于异构客户端的联邦原型学习方法。它旨在解决联邦学习中异构数据和模型的挑战。FedProto采用了原型学习的思想，将每个客户端的数据聚类成不同的原型，并利用这些原型进行模型训练和聚合。...
Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
GJ_007的博客
03-31 3147
Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge 摘要 我们设想了一个用于机器学习（ML）技术的移动边缘计算（MEC）框架，它利用分布式客户端数据和计算资源来训练高性能ML模型，同时保留客户端隐私。为了实现这一未来目标，本文旨在扩展联邦学习（FL）这个分散学习框架，使模型的隐私...
FedProto代码复现
2202_76015673的博客
03-26 833
代码浮现
文献阅读：Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
whitevegetable的博客
11-07 2981
背景 在用户异构（用户的通信、计算能力不同）的蜂窝网络中，传统的联邦学习会很低效。这是因为传统联邦学习中每轮参与模型训练的用户是随机选取的，这样如果一轮中选取的某些用户的通信、计算能力较差，那么其模型训练、上传所需的时间就更长，进而拖延本轮的模型聚合步骤，最终导致整个模型训练效率的低下。 研究内容 论文提出了FedCS协议，将传统联邦学习的随机选取参与用户改为由用户的资源情况选择尽可能多的“优质”用户来进行模型更新。图示如下： FedCS协议的具体步骤： 1....
AAAI 2024 | 上交等提出自适应间距强化对比学习，增强多个模型的分类能力
Paper weekly
07-05 1174
©PaperWeekly 原创 ·作者 |张剑清单位 |上海交通大学、清华大学（AIR）研究方向 |联邦学习本文介绍的是我们的一篇收录于 AAAI 2024 的论文，主要考虑的是数据异质和模型异构场景下的联邦学习框架。在异构联邦学习中，由于模型架构不同，传统联邦学习中的参数聚合方法不再适用，取而代之的是基于知识蒸馏的知识共享方法。在这些方法中，我们关注不引入额外数据集的（data-free...
论文精讲 | CVPR 2022|RHFL-对抗噪声的联邦学习
Kenji_Shinji的博客
10-09 3687
在那些由于需要学习难以学习的类，而额外学习的epoch中，之前已经学习好的，容易学习的类中很容易产生过拟合（对噪声的过拟合），这时模型的performance将会下降。模型异构的联邦学习，是一种每个client拥有互不相同模型的联邦学习任务，其能够解决联邦学习中每个成员希望独立设计自己模型的需求，但目前同样面临着来自数据层面和成员层面的各种挑战，比如数据标记困难，训练中存在搭便车成员，及其进一步导致的标签噪声问题。作者提出的全新的具有噪声鲁棒性的异构联邦学习方法，同时提出了评估成员模型好坏的CCR方法。
论文精讲 | 基于昇思MindSpore实现多域原型对比学习下的泛化联邦原型学习
Kenji_Shinji的博客
10-25 797
昇思MindSpore作为一个开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能，超大规模AI预训练、极简开发、安全可信的体验，2020.3.28开源来已超过5百万的下载量，昇思MindSpore已支持数百+AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心，金融、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景逐步广泛应用，是Gitee指数最高的开源软件。
分布式机器学习&联邦学习论文阅读笔记（持续更新）
Shawn2134123的博客
11-04 4668
分布式机器学习&联邦学习论文阅读笔记一、开源框架FedML二、数据异构问题FedProxBridging Median and Mean Algorithms（NeurIPS 2020）三、边缘计算负载问题FedGKT（NeurIPS 2020）四、通信量压缩FetchSGD（ICML 2020）五、个性化联邦学习Ditto（ICML 2021）pFedHN（ICML2021） 一、开源框架 FedML https://github.com/FedML-AI/FedML 二、数据异构问题 FedPr
【阅读笔记】Towards Personalized Federated Learning个性化联邦综述
charlessun9的博客
07-15 5099
个性化联邦学习综述，介绍了当前非独立同分布的数据情况，以及相应的解决方案、论文。同时也对PFL进行了分类，四大类、十小类，方便相关研究人员针对性的学习
联邦学习入门周记｜第一周
m0_52330760的博客
05-16 439
数据量异质性指的是每个Client之间的数据量不同，比如A有100个数据，B只有1个数据。数据特征异质性是指每个Client之间的数据特征不同，比如A中的数据有猫、狗、猪、马，B中的数据里只有乌龟。数据异质性会导致最终跑出来的模型产生偏差，比如给模型100张猫的图，1张狗的图，那么最终模型对于猫的辨认能力一定远大于对于狗的辨认能力。联邦学习的入门论文。论文大意就是由于各种原因，我们需要一种新的分布式的学习算法，用于将各客户端的数据也都加入训练中，但是不能直接将客户端数据直接给服务端，这种算法就叫联邦学习。
联邦学习新模型（FedCS）——面向异构资源的客户端选择问题
weixin_51306020的博客
08-08 4679
本文所要解决的问题是异构客户端资源（数据资源：规模过大/小、计算能力：有快有慢、无线通信条件：模型参数传输时长差异 ）——延长服务器的聚合、更新步骤，进而降低模型训练的效率。 为解决上述问题，作者提出了FedCS框架， 相较于传统的模型，其创新点在于增加了 Resource Request步骤，该步骤可以帮助移动边缘计算（MEC）服务器依据工人上传信息评估其“优劣”。 针对上述三种异构情况，若某工人的本地数据集太大/小，计算能力弱、信道状况差则会被工人选择算法（贪婪）pass掉，进而保证全局模型训练效率。.
【FedProx】论文笔记
weixin_47754029的博客
03-15 4027
在client本地增加计算量，而通信时只进行加权聚合操作。【FedAvg论文笔记】&【代码复现】_fedavg代码_爽爽不会编程的博客-CSDN博客FedAvg的缺点：1、不允许参与设备根据底层的系统执行可变的轮次（就是本地局部迭代轮次E是固定的），故算力不同的设备迭代固定E轮次的时间不同，这对后面服务区等待聚合局部模型肯定会有影响嘛。2、某些设备在规定时间位未达到收敛会被服务器“丢弃”。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值