论文阅读：Personalized Federated Learning with Moreau Envelopes

最新推荐文章于 2022-10-21 01:36:25 发布
最新推荐文章于 2022-10-21 01:36:25 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： 论文阅读 文章标签： 人工智能 个性化联邦学习 联邦学习 异构数据 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39715243/article/details/117400704
版权

论文名字

Personalized Federated Learning with Moreau Envelopes

来源

 

年份

2021.3.3

作者

Canh T. Dinh, Nguyen H. Tran, Tuan Dung Nguyen

核心点

个性化联邦学习算法，pFedMe

阅读日期

2021.5.25

影响因子

 

页数

23

引用数

 

引用

 

内容总结

文章主要解决的问题及解决方案：

主要针对联邦学习中客户端不平衡（non-iid）数据的问题，提出一种个性化联邦学习，使得不同客户端可以根据自己数据集的特点进行个性化训练，同时是在联邦学习框架下进行的。

 

文章相比之前的工作创新之处：

文中主要与Per-FedAvg和FedAvg算法相比

1、收敛速度比两者要快

2、在Per-FedAvg中，优化器智能进行one-step的梯度更新（也就是在一次训练中只更新一次），而文中算法可以进行multi-step（多次更新）。

3、式（5）是Per-FedAvg的个性模型更新（即本地客户端的模型更新公式）；式（3）是文中算法的个性模型更新。Per-FedAvg算法智能对fi的一阶导是进行优化，而文中方法可以直接对fi进行优化。（fi是损失函数）

4、Per-FedAvg（等几种基于MAML的算法）都是要求计算Hessian矩阵的（二阶导），而文中方法只需要一阶导。

 

文章的主要工作：

1、文中算法只要利用Moreau envelope的一些数学特性进行改进。

2、算法伪代码：

3、其主要提出一种双层结构，内层结构用上面的公式（3）求得，外层结构是梯度下降方法（即下式），其中用公式（6）近似求得。

整体公式如下：

 

 

 

实验结果：

 

附录：

 

参考文献：

 

 

 

 

三金samkam
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Federated_learning_with_differential_privacy：使用PyTorch通过各种神经网络和svm的基于差异优先级的联合学习框架
02-10
差异化隐私的联合学习 引文 如果您发现“ DP联合学习”在您的研究中很有用，请考虑引用： @ARTICLE{Wei2020Fed, author={Kang Wei and Jun Li and Ming Ding and Chuan Ma and Howard H. Yang and Farhad Farokhi and Shi Jin and Tony Q. S. Quek and H. Vincent Poor}, journal={{IEEE} Transactions on Information Forensics and Security}, title={Federated Learning with Differential Privacy: {Algorithms} and Performance Analysis}, year={2020}, vo
Personalized Federated Learning with Moreau Envelopes
qq_40716254的博客
09-02 1124
论文标题 Personalized Federated Learning with Moreau Envelopes 发表期刊 NeurIPS 2020 代码 https://github.com/CharlieDinh/pFedMe torch 解决的问题： statistical diversity差异 among clients，which restricts the global model from delivering good performance on client‘s task. 采用的
Personalized Federated Learning with Moreau Envelopes论文阅读+代码解析
qq_45478482的博客
02-27 2282
（好久没更新文章啦，现在开学继续肝） 论文地址点这里 一. 介绍 尽管FL具有数据隐私和减少通信的优势，但它面临着影响其性能和收敛速度的主要挑战：统计多样性，这意味着客户之间的数据分布是不同的（即非i.i.d.）。因此，使用这些非i.i.d.数据训练的全局模型很难在每个客户的数据上得到很好的推广。因此，个性化联邦学习在改变传统追求全局一个较好模型做到了平衡——全局与局部的调整，以适应本地数据集。 二. 相关工作 个性化联邦学习有：混合模型，情景化，元学习和多任务学习。（论文介绍了很多相关论文，在这里不加以赘
个性化联邦学习PFedMe详细解读（NeurIPS 2020）
我爱计算机视觉
04-06 3189
关注公众号，发现CV技术之美本文介绍一篇NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』，对个性化联邦学习 PFedMe 进行详细解读。详细信息如下：论文链接：https://arxiv.org/pdf/2006.08848.pdf项目链接：https://github.com...
差分隐私与深度学习--联邦学习
fyrmaryt的博客
05-07 2833
tensorflow官方差分隐私项目： https://github.com/tensorflow/privacy
GFL：Galaxy Federated Learning Framework（星际联邦学习框架）
02-05
GFL框架 GFL是基于pytorch的联合学习框架，它提供了不同的联合学习算法。 GFL还是Galaxy学习系统（GLS）的基础结构。 GLS是基于区块链和GFL的联合学习系统。 目前，GFL部分首先是开源的，而区块链部分将很快开源。...
HOLDOUT SGD: BYZANTINE TOLERANT FEDERATED LEARNING
最新发布
04-24
HOLDOUT SGD: BYZANTINE TOLERANT FEDERATED LEARNING
BAFFLE : Blockchain Based Aggregator Free Federated Learning
01-07
BAFFLE（Blockchain Based Aggregator Free Federated Learning）是一种基于区块链技术的无聚合器联邦学习环境。其主要目的是解决传统联邦学习中需要中心化聚合器的问题。中心化聚合器可能会出现操作不当、隐私泄露...
Client Selection for Federated Learning with.pdf
05-02
联邦学习客户端选择文献
Optimizing Federated Learning on Non-IID Data with Reinforcement
09-07
联邦学习（Federated Learning）是一种新兴的分布式机器学习方法，旨在在保护用户数据隐私的同时，利用分散在各个设备上的数据进行模型训练。随着移动设备的普及，非独立同分布（Non-IID）数据成为联邦学习面临的...
A Novel Personalized Differential Privacy Mechanism for Trajectory Data Publication
02-08
With the development of smart city, more.organizations analyze people’s trajectory data, so as to provide.better location-based services. However, publishing the.original trajectory data directly raises serious privacy threats.to individuals. As a kind of powerful framework for providing.formal and strong privacy guarantees, differential privacy has.been applied in the trajectory data publication. Nevertheless,.the existing approaches assume that individuals require the.same privacy preference,
pFedMe:使用Pytorch（pFedMe）进行个性化联合学习
05-04
使用Moreau信封进行个性化联合学习（NeurIPS 2020） 该存储库实施了用Moreau信封进行个性化联合学习一文中的所有实验。 作者：Canh T. Dinh，Nguyen H. Tran，Tuan Dung Nguyen 全文： : 纸张已被NeurIPS 2020接受。 该存储库不仅实现pFedMe，还实现FedAvg和Per-FedAvg算法。 （使用Pytorch进行联合学习） 软件要求： numpy，scipy，火炬，枕头，matplotlib。 要下载依赖项： pip3 install -r requirements.txt 数据集：我们使用2个数据集：MNIST和Synthetic 要生成非空闲MNIST数据，请执行以下操作： 访问数据/ Mnist并运行：“ python3 generate_niid_20users.py” 我们可以使用
Proximal Algorithms--Moreau-Yosida regularization
weixin_30647065的博客
07-19 563
3.1 Moreau-Yosia regulariztion 莫罗-吉田正则化。 共轭函数f∗: 若函数f:Rn→R是定义在Rn上的凸函数，则函数f(x)的共轭函数f∗:Rn→R定义为： f∗(x∗)=supx(<x,x∗>−f(x)) 适当闭凸函数（proper closed convex function）f和g在Rn上的下确卷积(in...
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 5666
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
【联邦元学习】读懂Per-FedAvg个性化联邦学习：Personalized Federated Learning: A Meta-Learning Approach
BlueBlue
09-02 1857
论文：Fallah A, Mokhtari A, Ozdaglar A. Personalized Federated Learning: A Meta-Learning Approach[J]. arXiv pre-print server, 2020. 这篇文章提出了FedAvg的变体——Per-FedAvg，旨在解决联邦学习中的个性化问题。在联邦学习中结合元学习模型MAML，试图找出一个全局模型，使之在每个节点针对其自身的损失函数进行更新后均表现良好。 【原创，转载需标明出处】论文解析（内含论文原
Per-FedAvg：联邦个性化元学习
我爱计算机视觉
04-01 1986
关注公众号，发现CV技术之美Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach论文链接：https://proceedings.neurips.cc/paper/2020/file/24389bfe4fe2eba8bf9aa...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5907
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
扫读 | Towards Personalized Federated Learning
欧氏空间
03-22 839
arxiv:2103.00710 传送门 综述个性化联邦学习（Personalized FL，PFL）的进展。讨论了PFL目前的发展阻碍，并将PFL分为基于数据的和基于模型的方法。展望PFL的发展轨迹、PFL的benchmarking、可信赖的PFL方法 PFL的发展阻碍 有限的FL框架 隐私保护约束。现有很多方法不满足隐私保护的需求，有的允许本地数据或元数据的共享，有的假设可以用能代表整体分布的代理数据集 PFL方法 基于数据的方法 目标是平滑掉统计上的异构性 数据增强，通常需要共享一些数据
论文阅读：Deep Learning with Differential Privacy
三金samkam的博客
01-25 4965
论文名字 Deep Learning with Differential Privacy 来源 会议 23rd ACM （CCS2016） 年份 2016.10 作者 Martín Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal T alwar, Li Zh...
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
06-09
FedALA是一种个性化联邦学习的方法，它采用自适应局部聚合技术来使模型更好地适应本地数据。具体来说，FedALA通过在本地训练期间聚合本地模型的梯度，来实现模型更新的个性化。这种方法可以减少模型在全局通信时的通信开销，并且可以更好地保护本地数据隐私。FedALA在实验中表现出了比传统联邦学习方法更好的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三金samkam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值