论文阅读：Personalized Federated Learning with Moreau Envelopes

最新推荐文章于 2024-04-19 15:19:25 发布
最新推荐文章于 2024-04-19 15:19:25 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： 论文阅读 文章标签： 人工智能 个性化联邦学习 联邦学习 异构数据 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39715243/article/details/117400704
版权

论文名字

Personalized Federated Learning with Moreau Envelopes

来源

 

年份

2021.3.3

作者

Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen

核心点

个性化联邦学习算法，pFedMe

阅读日期

2021.5.25

影响因子

 

页数

23

引用数

 

引用

 

内容总结

文章主要解决的问题及解决方案：

主要针对联邦学习中客户端不平衡（non-iid）数据的问题，提出一种个性化联邦学习，使得不同客户端可以根据自己数据集的特点进行个性化训练，同时是在联邦学习框架下进行的。

 

文章相比之前的工作创新之处：

文中主要与Per-FedAvg和FedAvg算法相比

1、收敛速度比两者要快

2、在Per-FedAvg中，优化器智能进行one-step的梯度更新（也就是在一次训练中只更新一次），而文中算法可以进行multi-step（多次更新）。

3、式（5）是Per-FedAvg的个性模型更新（即本地客户端的模型更新公式）；式（3）是文中算法的个性模型更新。Per-FedAvg算法智能对fi的一阶导是进行优化，而文中方法可以直接对fi进行优化。（fi是损失函数）

4、Per-FedAvg（等几种基于MAML的算法）都是要求计算Hessian矩阵的（二阶导），而文中方法只需要一阶导。

 

文章的主要工作：

1、文中算法只要利用Moreau envelope的一些数学特性进行改进。

2、算法伪代码：

3、其主要提出一种双层结构，内层结构用上面的公式（3）求得，外层结构是梯度下降方法（即下式），其中用公式（6）近似求得。

整体公式如下：

 

 

 

实验结果：

 

附录：

 

参考文献：

 

 

 

 

三金samkam
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Personalized Federated Learning with Moreau Envelopes
qq_40716254的博客
09-02 1121
论文标题 Personalized Federated Learning with Moreau Envelopes 发表期刊 NeurIPS 2020 代码 https://github.com/CharlieDinh/pFedMe torch 解决的问题： statistical diversity差异 among clients，which restricts the global model from delivering good performance on client‘s task. 采用的
Personalized Federated Learning with Moreau Envelopes论文阅读+代码解析
qq_45478482的博客
02-27 2271
（好久没更新文章啦，现在开学继续肝） 论文地址点这里 一. 介绍 尽管FL具有数据隐私和减少通信的优势，但它面临着影响其性能和收敛速度的主要挑战：统计多样性，这意味着客户之间的数据分布是不同的（即非i.i.d.）。因此，使用这些非i.i.d.数据训练的全局模型很难在每个客户的数据上得到很好的推广。因此，个性化联邦学习在改变传统追求全局一个较好模型做到了平衡——全局与局部的调整，以适应本地数据集。 二. 相关工作 个性化联邦学习有：混合模型，情景化，元学习和多任务学习。（论文介绍了很多相关论文，在这里不加以赘
Personalized Federated Learning: A Meta-Learning Approach 个性化联邦学习PerFedAvg开山鼻祖之作
De-Alf的博客
04-19 418
简单回顾MAML。给定一组从底层分布中提取的任务，在MAML中，与传统的监督学习设置相反，目标不是找到一个在预期的所有任务上都表现良好的模型。相反，在MAML中，假设在新任务到达后，有限的计算预算来更新模型，在这个新设置中，寻找一个初始化，它在相对于这个新任务更新后表现良好，可能是通过一个或几个梯度下降步骤。这个公式的优势在于，保持FL的优势还捕获了用户之间的差异，无论是现有用户还是新用户都可以将这个新问题的解决方案作为初始点，并根据自己的数据稍微更新它。
Proximal Algorithms--Moreau-Yosida regularization
weixin_30647065的博客
07-19 558
3.1 Moreau-Yosia regulariztion 莫罗-吉田正则化。 共轭函数f∗: 若函数f:Rn→R是定义在Rn上的凸函数，则函数f(x)的共轭函数f∗:Rn→R定义为： f∗(x∗)=supx(<x,x∗>−f(x)) 适当闭凸函数（proper closed convex function）f和g在Rn上的下确卷积(in...
个性化联邦学习PFedMe详细解读（NeurIPS 2020）
我爱计算机视觉
04-06 3154
关注公众号，发现CV技术之美本文介绍一篇NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』，对个性化联邦学习 PFedMe 进行详细解读。详细信息如下：论文链接：https://arxiv.org/pdf/2006.08848.pdf项目链接：https://github.com...
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 5606
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
GFL：Galaxy Federated Learning Framework（星际联邦学习框架）
02-05
GFL框架 GFL是基于pytorch的联合学习框架，它提供了不同的联合学习算法。 GFL还是Galaxy学习系统（GLS）的基础结构。 GLS是基于区块链和GFL的联合学习系统。 目前，GFL部分首先是开源的，而区块链部分将很快开源。...
HOLDOUT SGD: BYZANTINE TOLERANT FEDERATED LEARNING
最新发布
04-24
HOLDOUT SGD: BYZANTINE TOLERANT FEDERATED LEARNING
BAFFLE : Blockchain Based Aggregator Free Federated Learning
01-07
BAFFLE（Blockchain Based Aggregator Free Federated Learning）是一种基于区块链技术的无聚合器联邦学习环境。其主要目的是解决传统联邦学习中需要中心化聚合器的问题。中心化聚合器可能会出现操作不当、隐私泄露...
Client Selection for Federated Learning with.pdf
05-02
联邦学习客户端选择文献
Optimizing Federated Learning on Non-IID Data with Reinforcement
09-07
联邦学习（Federated Learning）是一种新兴的分布式机器学习方法，旨在在保护用户数据隐私的同时，利用分散在各个设备上的数据进行模型训练。随着移动设备的普及，非独立同分布（Non-IID）数据成为联邦学习面临的...
Federated_learning_with_differential_privacy：使用PyTorch通过各种神经网络和svm的基于差异优先级的联合学习框架
02-10
差异化隐私的联合学习 引文 如果您发现“ DP联合学习”在您的研究中很有用，请考虑引用： @ARTICLE{Wei2020Fed, author={Kang Wei and Jun Li and Ming Ding and Chuan Ma and Howard H. Yang and Farhad Farokhi and Shi Jin and Tony Q. S. Quek and H. Vincent Poor}, journal={{IEEE} Transactions on Information Forensics and Security}, title={Federated Learning with Differential Privacy: {Algorithms} and Performance Analysis}, year={2020}, vo
A Novel Personalized Differential Privacy Mechanism for Trajectory Data Publication
02-08
With the development of smart city, more.organizations analyze people’s trajectory data, so as to provide.better location-based services. However, publishing the.original trajectory data directly raises serious privacy threats.to individuals. As a kind of powerful framework for providing.formal and strong privacy guarantees, differential privacy has.been applied in the trajectory data publication. Nevertheless,.the existing approaches assume that individuals require the.same privacy preference,
Federated-Learning-PyTorch:实施基于分散数据的深度网络通信高效学习
05-06
联合学习（PyTorch） 香草联合学习论文的实施：。 在MNIST，Fashion MNIST和CIFAR10（IID和非IID）上进行了实验。 在非IID的情况下，用户之间的数据可以相等或不相等地分割。 由于这些实验的目的是说明联合学习范例的有效性，因此仅使用诸如MLP和CNN的简单模型。 要求 从requirments.txt安装所有软件包 Python3 火炬 火炬视觉 数据 手动下载训练和测试数据集，否则它们将自动从Torchvision数据集下载。 实验在Mnist，Fashion Mnist和Cifar上进行。 要使用自己的数据集，请执行以下操作：将数据集移动到数据目录，并在pytorch数据集类上编写包装器。 运行实验 基线实验以常规方式训练模型。 要使用CPU在MLP上对MNIST运行基线实验，请执行以下操作： python src/baseline_ma
论文阅读：LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
三金samkam的博客
12-04 2055
论文名字 LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy 来源 期刊 arXiv:2007.15789v1 预印本。审查中。 年份 2020.7 作者 Lichao Sun, Jianwei Qian, Xun Chen...
【联邦元学习】读懂Per-FedAvg个性化联邦学习：Personalized Federated Learning: A Meta-Learning Approach
BlueBlue
09-02 1840
论文：Fallah A, Mokhtari A, Ozdaglar A. Personalized Federated Learning: A Meta-Learning Approach[J]. arXiv pre-print server, 2020. 这篇文章提出了FedAvg的变体——Per-FedAvg，旨在解决联邦学习中的个性化问题。在联邦学习中结合元学习模型MAML，试图找出一个全局模型，使之在每个节点针对其自身的损失函数进行更新后均表现良好。 【原创，转载需标明出处】论文解析（内含论文原
差分隐私与深度学习--联邦学习
fyrmaryt的博客
05-07 2809
tensorflow官方差分隐私项目： https://github.com/tensorflow/privacy
论文阅读 LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
TMummy的博客
01-12 554
论文阅读笔记，LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy
Per-FedAvg：联邦个性化元学习
我爱计算机视觉
04-01 1978
关注公众号，发现CV技术之美Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach论文链接：https://proceedings.neurips.cc/paper/2020/file/24389bfe4fe2eba8bf9aa...
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
06-09
FedALA是一种个性化联邦学习的方法，它采用自适应局部聚合技术来使模型更好地适应本地数据。具体来说，FedALA通过在本地训练期间聚合本地模型的梯度，来实现模型更新的个性化。这种方法可以减少模型在全局通信时的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三金samkam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值