Federated Meta-Learning with Fast Convergence and Efficient Communication论文阅读笔记

最新推荐文章于 2023-11-08 23:28:31 发布
最新推荐文章于 2023-11-08 23:28:31 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： 元学习 联邦学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LauraXv/article/details/114290291
版权
本文介绍了Federated Meta-Learning（FedMeta）框架，该框架结合了元学习和联邦学习的优势，实现更快的收敛速度和更少的通信开销。FedMeta仅共享meta-learner，保护用户隐私。实验表明，FedMeta在LEAF数据集和实际推荐任务上表现出优于FedAvg的性能和效率。
摘要由CSDN通过智能技术生成

摘要

在移动设备上分布式训练机器学习模型所面对的统计和系统上的挑战是联邦学习现实应用中的瓶颈。本文通过实验说明meta-learning是解决这些问题的自然选择，并且提出了一个联邦元学习的框架FedMeta。和联邦学习相比，联邦元学习只共享meta-learner，而不是一整个模型。作者在LEAF数据集和一个真实的生产数据集上进行了实验。实验结果表明FedMeta更快收敛、需要的通信开销更少，并且相比于FedAvg能取得更高的准确率。同时，FedMeta只共享meta-learner，从而保护了隐私。

介绍

数据的物理分散、隐私的敏感性以及移动设备算力的提升促进了联邦学习的研究。然而联邦学习面临着统计和系统上的挑战。在统计上，分散的数据是非独立同分布、高度个性化并且异构的，这会降低模型的准确率。在系统上，设备的数量设备的数量通常比传统的分布式设置大几个数量级。并且，每台设备可能在内存、算力、通信能力上都有很强的限制。为了解决这两个问题，Google提出了Federated Averaging(FedAvg)算法。

基于初始化的meta-learning算法，如MAML，对于新的task具有良好的适应性和泛化性，因此十分适用于非独立同分布并且高度个性化的分散训练数据。

FedMeta将MAML应用于联邦学习。在元学习中，通过meta-training的阶段进行task-level的训练，利用大量的task训练出一个meta-learner。对于每个task，都会训练一个task-specific的模型，每个task的训练数据被分为support set和query set，测试的结果（在query set上的loss࿰

最低0.47元/天 解锁文章
LauraXv
关注
专栏目录
联邦元学习（Federated meta learning）学习笔记
日拱一卒，功不唐捐。
08-17 6554
介绍联邦学习、元学习、联邦元学习以及他们的必要性、原理、方法、例子等内容
【联邦元学习】解读FedMeta框架：Federated Meta-Learning with Fast Convergence and Efficient Communication
BlueBlue
09-01 1545
论文：Chen F , Luo M , Dong Z , et al. Federated Meta-Learning with Fast Convergence and Efficient Communication[J]. arXiv, 2018. 华为的一篇结合联邦学习和元学习的论文：在联邦框架下，基于MAML或Meta-SGD构建FedMeta模型。 【原创，转载需标明出处】论文解析（内含论文原文、代码链接）：https://ripe-heliotrope-6f4.notion.site/Fed
Federated Meta-Learning with Fast Convergence and Efficient Communication 论文阅读笔记+关键代码解读
qq_45478482的博客
11-26 3280
论文地址点这里 一. 介绍 联邦学习中数据是非独立同分布的，基于FedAvg算法成功后，作者发现元学习算法MAML应对客户端上数据量较少，数据分布不均的场景提出了FedMeta框架，作为连接元学习方法和联邦学习的桥梁。在元学习中，参数化算法通过元训练过程从大量任务中慢慢学习，在元训练过程中，算法在每个任务中快速训练特定的模型。任务由互不关联的支持集和查询集组成。在支持集上训练特定的模型，然后在查询集上进行测试，测试结果用于更新算法。对于FedMeta来说，算法在服务器上维护并分发给客户端进行训练。训练之后，
联邦学习+元学习：Federated Meta-Learning with Fast Convergence and Efficient Communication.(Fed-Meta)
qq_43663979的博客
10-13 1796
元学习+联邦学习
【论文阅读】(FedMeta)Federated Meta-Learning with Fast Convergence and Efficient Communication
qq_56483157的博客
11-08 477
允许以更灵活的方式共享参数化算法，同时保留客户端隐私，而无需收集到服务器上的数据。提出了一个联邦元学习框架。
联邦学习论文阅读：Federated meta-learning for recommendation
thormas1996的博客
04-01 4554
2018年fb的文章Federated meta-learning for recommendation的阅读笔记
Federated-Learning-with-Local-Differential-Privacy-master.zip
08-25
此项目“Federated-Learning-with-Local-Differential-Privacy-master.zip”显然关注的是如何在联邦学习框架下实现本地差分隐私（Local Differential Privacy, LDP），以增强用户数据的隐私保护。 差分隐私是一种...
《Federated Meta-Learning with Fast Convergence and Efficient Communication》论文阅读
Nathan_c的博客
10-10 184
基于初始化的元学习算法，如MAML（），以对新任务的快速适应和良好泛化而闻名，这使得它特别适合于联邦设置，其中分散的训练数据是非iid和高度个性化的。受此启发，我们提出了一个联邦元学习框架，它与先前的联邦学习工作有很大的不同。我们的工作是元学习方法和联邦学习的桥梁。在元学习中，参数化算法(或元学习者)通过元训练过程从大量任务中缓慢学习，其中算法在每个任务中快速训练一个特定的模型。一个任务通常由组成，它们彼此不相交。在支持集上训练特定任务的模型，然后在查询集上进行测试，测试结果用于更新算法。
【联邦元学习】论文解读：Federated Meta-Learning for Fraudulent Credit Card Detection
BlueBlue
09-03 744
论文：Zheng W, Yan L, Gou C, et al. Federated Meta-Learning for Fraudulent Credit Card Detection[C], Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence Special Track on AI in FinTech. Pages 4654-4660. 2020: 4654-4660. 【
Federated learning 框架——leaf 探坑记录
01-20
leaf是一个联邦学习的框架，来自CMU，官网：https://leaf.cmu.edu/build/html/index.html      Github：https://github.com/TalwalkarLab/leaf/pulls 1、安装与配置环境 首先要在Github上下载leaf，之后安装 requirements.txt 中列出的 libraries。 这里面有几个坑：1、要用 pip3 下载，否则 tensorflow 可能出现空包 2、目前tensorflow发行了2.0系列的版本，但是leaf是用tensorflow1.x系列的语法写的，也就是说，需要修改requir
End-to-End Fast Training of Communication LinksWithout a Channel Model via Online Meta-Learning学习笔记
qq_40625143的博客
09-13 333
通过在线元学习在没有信道模型的情况下对通信链路进行端到端快速培训 Abstract 当信道模型不可用时，编码器和解码器在衰落噪声信道上的端到端训练通常需要重复使用信道和反馈链路。该方法的一个重要限制是，对于每个新渠道，培训通常应从零开始。为了解决这个问题，以前的工作考虑了多个信道上的联合训练，目的是找到一对在一类信道上工作良好的编码器和解码器。在本文中，我们建议通过元学习消除联合训练的局限性。所提出的方法基于元训练阶段，其中解码器的在线基于梯度的元学习通过导频的传输和反馈链路的使用与编码器的联合训练相耦
论文阅读:Personalized Federated Learning:A Meta-Learning Approac
三金samkam的博客
06-02 1399
论文名字 Personalized Federated Learning: A Meta-Learning Approach 来源 年份 2020.10.23 作者 Alireza Fallah, Aryan Mokhtari, Asuman Ozdaglar 核心点 使用meta learning实现联邦学习的个性化（差异...
联邦元学习训练流程精读
weixin_43545898的博客
06-01 829
元学习能快速适应并良好泛化新任务，和分散的训练数据是非独立同分布且高度个性化的联邦学习很契合。
fedmeta文章阅读（2）
weixin_48139224的博客
10-24 270
对比基准：fedavg、per-fedavg、集中式模型问题：对于时空模式重建步骤，我们使用GRU作为编码器和解码器。k-means聚类方法是否对参数进行分类。缺陷：高度依赖于中央服务器，一旦中央服务器出现故障，整个系统就无法运行。因此，去中心化区块链技术已被应用于联邦学习。从应用目标来看，联邦学习旨在创造价值，区块链旨在表达和转移价值。因此，有一些研究将区块链和联合学习相结合，利用区块链的价值表达和传递函数来记录和分配联合学习服务创造的价值[31，32]。
实验记录总结
weixin_44331906的博客
06-10 913
实验记录 An Efficient Framework for Clustered Federated Learning
联邦学习论文汇总---十六
weixin_45671820的博客
06-04 1534
Client-Edge-Cloud Hierarchical Federated Learning 客户端–云分层联邦学习 背景 1.云或边缘只有一个中心参数服务器， 2.深度学习在强大的计算平台训练，终端设备生成和分发转移到中央服务器时，违反隐私问题。 创新点 1.允许多个边缘服务器执行部分模型聚合， 2.引入中间边缘服务器，减少模型训练时间和终端设备的能量消耗 3.基于边缘的联邦学习，参数服务器位于邻近边缘（基站），但是服务器访问的客户端数量有限，训练性能损失。 4.与云边端相比，分层的联邦学习减少与云
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
Federated Learning with Non-IID Data 论文笔记
GJ_007的博客
03-10 4050
Federated Learning with Non-IID Data 论文笔记 论文通过实验验证了，在non-IID数据中，使用FedAvg算法训练的模型会使准确率降低。 从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降，但是对于IID数据的准确率几乎没有影响。 为了探究原因，原文采用了两种不同程度分布的数据：non-IID1和non-IID2。从图中...
federated-learning-master
最新发布
12-21
Federated-learning-master是一个开源项目，旨在促进联邦学习技术的发展和应用。联邦学习是一种分散式机器学习方法，它允许多个设备或联盟成员在不共享原始数据的情况下进行模型训练，并将经过更新的模型参数进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值