论文阅读：PERSONALIZED FEDERATED LEARNING BY STRUCTURED AND UNSTRUCTURED PRUNING UNDER DATA HETEROGENEITY

最新推荐文章于 2023-10-03 20:27:48 发布
最新推荐文章于 2023-10-03 20:27:48 发布
阅读量507 收藏 1
点赞数 1
分类专栏： 论文阅读 文章标签： 人工智能 联邦学习 剪枝 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39715243/article/details/117043600
版权

论文名字

PERSONALIZED FEDERATED LEARNING BY STRUCTURED AND UNSTRUCTURED PRUNING UNDER DATA HETEROGENEITY

来源

Arxiv

年份

2021.5.2

作者

Saeed Vahidian, Mahdi Morafah, Bill Lin

核心点

用剪枝的方法实现联邦学习中客户端的个性化

阅读日期

2021.5.19

影响因子

 

页数

13

引用数

 

引用

 

内容总结

文章相比之前的工作创新之处：

1、用模型或通道剪枝的方法实现联邦学习中客户端的个性化

 

文章的主要工作：

1、动态对客户端模型进行剪枝，使其对不同的客户端能有更优的精度。

 

对文章的疑问：

1、这种修改网络的方法，要确定是因为网络的优化而导致模型性能提升，而不是他在联邦学习框架下做剪枝才能提升（也就是说，单独训练的时候，如果剪枝也能提升网络性能的话，就说明提升的是网络的性能，而跟是否在联邦学习框架没有关系）

2、文中的实验也仅限于CNN网络

 

实验结果：

 

附录：

 

参考文献：

 

 

三金samkam
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
FedMD: Heterogenous Federated Learning via Model Distillation
qq_33619359的博客
05-14 439
NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。
论文笔记——Model Pruning Enables Efficient Federated Learning on Edge Devices
GJ_007的博客
04-18 1792
论文笔记——Model Pruning Enables Efficient Federated Learning on Edge Devices 原文见论文题目 论文将剪枝与联邦学习结合起来。 针对服务器端是否有可用样本分为：基于样本剪枝和无样本剪枝 称以下过程为一个联邦： 联邦剪枝 在初始剪枝之后，除了标准的联邦学习过程外，系统还可以进一步执行重复的训练和剪枝操作。这里，系统执行...
联邦学习笔记--论文汇总（十三）
weixin_45671820的博客
06-02 956
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning 自适应联邦剪枝：提高通信和泛化能力 背景 具备传感器的智能设备，常常被携带，可以获取大量原始训练数据，个人设备可以计算深度模型，通信是主要瓶颈，加剧了掉队者的数量和丢失的概率，通信上百轮，通信时间很久。 客户机向服务器发送完整的模型更新，丢弃带宽有限的客户机，学习到的低效模型降低用户体验，增加客户机
Personalized Federated Learning using Hypernetworks 论文阅读笔记+代码解读
qq_45478482的博客
11-28 2869
论文地址点这里 一. 介绍 联邦学习是在多个不相交的本地数据集上学习模型的任务，由于隐私、存储等问题而无法共享本地数据集。但当数据分布在不同的客户端时，学习单个全局模型可能会失败。为了处理这种跨客户端的异构性，个性化联邦学习使每一个客户端能自行调整。 pFedHN使用超网络（Hypernetwork）来为每个输入产生身影网络参数。每个客户端都有一个唯一的嵌入向量，该向量作为输入传递给超网络，因此绝大多书参数在客户机之间共享。 使用超网络的另一个好处是，超级网络的训练参数向量永远不会被传输，每一个客户端只需要
《FedMD Heterogenous Federated Learning via Model Distillation》论文阅读
最新发布
Nathan_c的博客
10-03 257
《FedMD: Heterogenous Federated Learning via Model Distillation》 论文阅读 NeurIPS 2019 文章目录《FedMD: Heterogenous Federated Learning via Model Distillation》 论文阅读1 Introduction2 Method3 Results4 Discussion and conclusion5 复现 1 Introduction 在这项工作中，我们关注的是不同类型的异质性：
GFL：Galaxy Federated Learning Framework（星际联邦学习框架）
02-05
GFL框架 GFL是基于pytorch的联合学习框架，它提供了不同的联合学习算法。 GFL还是Galaxy学习系统（GLS）的基础结构。 GLS是基于区块链和GFL的联合学习系统。 目前，GFL部分首先是开源的，而区块链部分将很快开源。...
awesome-federated-learning:机器学习中有关联合学习和隐私的资源
05-13
出色的联合学习 与机器学习中的联合学习和隐私相关的资源列表。相关真棒列表文件简介与调查联合学习中的进步和开放性问题 联合机器学习：概念和应用 联合学习系统：数据隐私和保护的愿景，炒作和现实 揭开并行和...
Federated-Learning-and-Split-Learning-with-raspberry-pi:SRDS 2020
05-19
请引用我们的工作为： @inproceedings{gao2020end,title={End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things},author={Gao, Yansong and Kim, Minki and Abuadbba, Sharif ...
Advances and Open Problems in Federated Learning.pdf
05-13
Advances and Open Problems in Federated Learning。Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model ...
Federated Machine Learning: Concept and Applications
07-24
Federated Machine Learning: Concept and Applications
pFedHN论文阅读笔记
联邦学习小白
06-25 1640
《Personalized Federated Learning using Hypernetworks》提出一种用于个性化联邦学习的方法“pFedHN” （personalized Federated HyperNetworks）。该方法通过训练中央超网络模型，实现跨客户端的参数共享，并为每个客户端生成独特的个性化模型。 该方法的创新点主要有以下两点： 1、该超网络具备较强的泛化能力，即便（a）新的客户端的数据分布不同于训练时的客户端，（b）新的客户端具备不同的计算性能（这使得不同客户端可以训练不同规模的
【论文阅读】Personalized Cross-Silo Federated Learning on Non-IID Data
qq_40963226的博客
09-27 1835
Personalized Cross-Silo Federated Learning on Non-IID Data一、目的二、方法1、个性化联邦学习目标：2、解决个性化联邦学习（1）提出一般方法（2）FedAMP（3）HeurFedAMP三、总结 一、目的 这篇文章被AAAI2021接收。由于联邦学习存在数据non-iid分布，论文认为单一全局模型无法适合所有client，因此采用个性化联邦学习，为每个client提供个性化的模型。 二、方法 1、个性化联邦学习目标： 2、解决个性化联邦学习 （1）提出
Personalized Cross-Silo Federated Learning on Non-IID Data阅读记录
weixin_43545898的博客
06-01 418
对联邦学习中的数据集non-iid问题，这篇文章提出采用联合关注消息传递的新方法，促进类似客户进行更多协作。它允许每个用户拥有不同的模型，所以属于个性化联邦学习。
【阅读笔记】Towards Personalized Federated Learning个性化联邦综述
charlessun9的博客
07-15 3755
个性化联邦学习综述，介绍了当前非独立同分布的数据情况，以及相应的解决方案、论文。同时也对PFL进行了分类，四大类、十小类，方便相关研究人员针对性的学习
联邦学习论文汇总---十五
weixin_45671820的博客
06-03 576
FedMD: Heterogenous Federated Learning via Model Distillation 背景 1.深度学习可以自动感知和推理，需要大型数据，系统异构性（本地异步解决了一部分)，统计异质性性，需要创建自己的模型满足不同的规范， 现有工作 1.为凸问题的多任务学习提供一种框架 2.基于贝叶斯、元学习和迁移学习 创新 1.迁移学习+知识蒸馏开发框架，每个用户有私有数据和私有模型 2. 异构：局部模型的差异，参与者转化知识 迁移内容 1.每个模型对公有训练集训练，对私有数据集训练
ML4CS 2019 会议 （2）Federated learning and AI学习笔记
cheese0.0的博客
09-23 1334
Federated learning and AI学习笔记 put data together clibrery？？ Federated learning is a machine learning framework that helps multiple organization effectively and collaboratively use data and build models...
联邦学习笔记（二）
热门推荐
feng_zhiyu的博客
09-02 1万+
本文首发于https://yu-feng.top/ 写在前面 ​ 参考文献《Advances and Open Problems in Federated Learning, 2019》，58位作者的105页文章。笔者当前花了一些时间来阅读这篇论文，由于能力有限，只做一些感兴趣点的记录和分析。另引用内容见文末参考文献，如侵权请联系笔者。欢迎讨论~ Advances and Open Problems in Federated Learning, 2019 摘要 ​ 联合学习（FL）是在中央服务器（例如服务提
Federated Model Distillation with Noise-Free Differential Privacy
柯同学要谦虚
03-22 1455
Federated Model Distillation with Noise-Free Differential Privacy Existing Work FedMD Each model is first trained on the public data to align with public logits, then on its own private data. Cronus In contrast, Cronus mixes the public dataset (with soft l
FedALA: Adaptive Local Aggregation for Personalized Federated Learning
06-09
FedALA是一种个性化联邦学习的方法，它采用自适应局部聚合技术来使模型更好地适应本地数据。具体来说，FedALA通过在本地训练期间聚合本地模型的梯度，来实现模型更新的个性化。这种方法可以减少模型在全局通信时的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三金samkam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值