【CVPR 2021联邦学习论文解读】Model-Contrastive Federated Learning (MOON) 联邦学习撞上对比学习

置顶 已于 2024-05-05 13:23:02 修改
阅读量9.4k 收藏 65
点赞数 20
分类专栏： 论文解读 大厂算法岗求职攻略 文章标签： 联邦学习 对比学习
于 2022-01-19 23:47:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43827595/article/details/122358161
版权
本文介绍了CVPR 2021上的一篇论文，该论文提出Model-Contrastive Federated Learning (MOON)方法，将对比学习应用于联邦学习，旨在解决数据异质性问题。通过model-contrastive loss，MOON使本地模型更接近全局模型的表示，提高了在非IID数据集上的性能。实验表明，MOON在CIFAR-10、CIFAR-100和Tiny-Imagenet等数据集上表现优越。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在前面

最近阅读了一篇CVPR上关于联邦学习的文章（将对比学习的思想融入到联邦学习中），作者是新加坡国立大学的Qinbin Li（博士生，导师 何炳胜），Bingsheng He（何炳胜教授，导师 宋晓东）以及加州大学伯克利分校的Dawn Song（宋晓东教授，论文总引用量7万+）。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【ICML 2020联邦学习论文解读】SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
捡起一束光的博客
11-30 5484
FedAvg的收敛速度受限于数据集的分布，在Non-IID数据集中FedAvg的收敛速度缓慢。本文提出了一种叫做SCAFFOLD的算法，通过增加一个额外的参数control variate来修正FedAvg出现的client-drift，以此来加快收敛速度，从而减少通信次数............
Towards Personalized Federated Learning（个性化联邦学习综述）文献阅读
NigeloYang
04-11 1845
数据监管领域最近的重大发展促使人们对保护隐私的人工智能的兴趣发生了翻天覆地的变化。这有助于联邦学习（FL）的普及，这是以隐私保护方式在数据孤岛上训练机器学习模型的领先范例。在本次调查中，我们探索了个性化FL（PFL）的领域，以解决FL对异构数据的基本挑战，这是所有现实世界数据集固有的普遍特征。
分裂联邦学习论文-混合联邦分裂学习GAN驱动的预测性多目标优化
代码哥19950715的博客
01-12 1758
联邦学习作为一种多设备协同训练的边缘智能算法，可以保护数据隐私，但增加了无线设备的计算负担。为了解决上述问题，我们提出了一种无线网络的混合联邦分裂学习框架，该框架结合了FL多clients协同训练和SL的灵活分割。为了减少模型分裂中的计算的空闲时间，我们设计了一种不共享标签的模型分裂并行计算方案，并从收敛性上对时延梯度的影响进行理论分析。为了平衡训练时延和能耗，我们通过联合优化分割点决策带宽和计算资源分配以最小化训练时延和能耗(多目标优化：时延、能耗)。然后，我们提出了一种。
（Model-Contrastive Federated Learning）模型对比联邦学习
AI浩
07-14 7085
摘要 联邦学习使多方能够在不交流本地数据的情况下协作训练机器学习模型。 联邦学习的一个关键挑战是处理各方本地数据分布的异质性。 尽管已经提出了许多研究来应对这一挑战，但我们发现它们无法在具有深度学习模型的图像数据集中实现高性能。 在本文中，我们提出了 MOON：模型对比联邦学习。 MOON 是一个简单而 有效的联邦学习框架。 MOON 的关键思想是利用模型表示之间的相似性来纠正各个方的局部训练，即在模型级别进行对比学习。 我们的大量实验表明，MOON 在各种图像分类任务上明显优于其他最先进的联邦学习算法。
Model-Contrastive Federated Learning 论文解读（CVPR 2021）
Rick_rui的博客
04-25 1673
随机抽取 N个样本的小批量样本，并在从小批量样本上生成增强视图，从而产生 2N 个数据点。本文无明确地指定负例，而是给定一个正对(positivepair)，将小批量中的其他 2N−2个增强示例视为负示例。从不同的图像获得的表征应该相互远离，从相同的图像获得的表征应该彼此靠近。我们的本地模型训练时的loss有两部分组成：传统的交叉熵损失。作者在CIFAR-10做了个实验，来验证他的这种直觉。作者还对比了下SimCLR和MOON框架。对比学习的基本想法是同类相聚，异类相离。为温度系数，分子是正样本对。
Model-Contrastive Federated Learning，CVPR 2021
qq_43845774的博客
02-26 319
联邦学习与模型对比学习，MOON
对比学习（联邦相关）--持续更新
weixin_43773486的博客
03-27 365
由FedMOON获得及相关对比学习文章
论文阅读笔记—Model-Contrastive Federated Learning(Abstract)
qq_42447728的博客
09-08 334
联邦学习使(enables)多方(multiple parties)能够在不交流(without communicating)本地数据的情况下协作(collaboratively)训练机器学习模型。联合学习中的一个关键挑战(A key challenge)是处理(handle)跨各方(across parities)的本地数据分布(local data distribution)的异构性(heterogeneity)。
联邦学习-FedAvg、FedAMP论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
05-29 1万+
联邦学习-FedAvg、FedAMP论文解读
联邦学习原始论文解读
KI的博客
11-21 2万+
联邦学习：从分散数据通信高效学习深度网络。
federated-learning:关于联邦学习的所有内容（论文，教程等）-联邦学习
05-13
联邦学习 Federated Learning Everything about federated learning. Your contribution is highly valued! 关于联邦学习的资料，包括：介绍、综述文章、最新文章、代表工作及其代码、数据集、论文等等。 欢迎一起贡献！ 目录 1. 教程 Tutorial 文字 PPT (AAAI-19) (AAAI-19) 视频 GDPR, Data Shortage and AI (AAAI-19 Invited Talk) 新闻 2019/02/09 谷歌发布全球首个产品级移动端分布式机器学习系统，数千万手机同步训练 2. 相关论文 Related Papers 综述与介绍 Survey And Introduction arXiv 201912 - Advances and Open Problems in Fede
联合学习MOON——无需共享原始数据，通过模型对比联合学习实现准确的图像分类
最新发布
知来者逆的博客
04-08 1971
**联合学习**是一种在数据分布的情况下，既能以低成本进行机器学习，又能保护隐私的方法，引入这种方法不仅能保护隐私，还能降低更新模型时向中央服务器发送数据的通信成本。这种方法的引入不仅有望保护隐私，还能降低更新模型时向中央服务器发送数据的通信成本。
强的离谱， Transformer 模型与联邦机器学习详解！
我爱计算机视觉
04-11 1398
Transformer 作为一种基于注意力的编码器 - 解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。与卷积神经网络（CNN）相比，视觉 Transformer（ViT）依靠出色的建模能力，在 ImageNet、COCO 和 ADE20k 等多个基准上取得了非常优异的性能。正如德克萨斯大学奥斯汀分校的计算机科学家 ...
联邦学习论文阅读：Variational Federated Multi-Task Learning
thormas1996的博客
07-03 3211
这篇文章是探索联邦学习的框架下的多任务学习，稍后会整理一下之前的那篇multi task learning to be continued
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
带个性化层联邦学习论文解读
m0_49556086的博客
11-02 1671
联邦学习，元联邦学习，个性化联邦学习，算法
【论文解读】FedFast: Going Beyond Average for Faster Training of Federated 推荐系统遇上联邦学习
MonkeyCatFox的博客
03-04 2217
3
个性化联邦学习PFedMe详细解读（NeurIPS 2020）
我爱计算机视觉
04-06 3795
关注公众号，发现CV技术之美本文介绍一篇NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』，对个性化联邦学习 PFedMe 进行详细解读。详细信息如下：论文链接：https://arxiv.org/pdf/2006.08848.pdf项目链接：https://github.com...
程序员去公司面试过不了（Model-Contrastive Federated Learning，网易Python面试必问
Python毕设源码程序王哥
04-06 824
3.2.动机MOON 基于一个直观的想法：在整个数据集上训练的模型能够提取比在偏斜子集上训练的模型更好的特征表示。例如，给定一个在狗和猫图像上训练的模型，我们不能期望模型学习到的特征能够区分训练期间从未存在过的鸟类和青蛙。为了进一步验证这种直觉，我们对 CIFAR-10 进行了一个简单的实验。具体来说，我们首先在 CIFAR-10 上训练一个 CNN 模型（详细结构见第 4.1 节）。我们使用 t-SNE [33] 来可视化来自测试数据集的图像的隐藏向量，如图 2a 所示。
CVPR-2018深度学习与计算机视觉论文深度解析
从标签来看，“CVPR-18”明确指出了论文集与特定会议的关联，而“深度学习”、“强化学习”、“自然语言处理”和“计算机视觉”则分别代表了构成该论文合集内容的四个主要研究领域。深度学习和强化学习是当前人工...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值