Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data

于 2024-05-14 21:25:33 发布
阅读量285 收藏 9
点赞数 3
分类专栏： 论文阅读之联邦学习系列 文章标签： 联邦学习 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33619359/article/details/138868589
版权
本文提出了混合联邦蒸馏（HFD）方法，该方法结合了联邦学习（FL）、知识蒸馏（FD）并在异构数据场景下应用。HFD通过在本地先进行知识蒸馏，然后使用全局平均logits和协变量向量进行指导更新，旨在缩小FL和FD的性能差距。实验结果显示，HFD的表现位于FL和传统FD之间。
摘要由CSDN通过智能技术生成

在这里插入图片描述

PIMRC2019，

论文地址：arvix
code: 没找到

贡献

  1. 提出FD 的一种变体，它将FD 正则化应用于平均概率向量，也应用于每个标签的平均输入，这些输入在离线阶段进行交换。这种方法称为混合 FD (HFD)，可以帮助缩小 FL 和 FD 之间的性能差距；
  2. 提出并研究了在设备和接入点之间的高斯多址信道上实现 FL、FD和 HFD，如图 1 所示。我们特别考虑基于量化和信道编码的传统数字方案，以及基于量化和信道编码的传统数字方案。利用无线计算的模拟方案。

第二点模拟我是没咋看，但是第一点混合。。。。就是本地端先蒸馏，然后再正常训练几轮，这有啥用？

算法流程

IL（ Independent Learning ）就是在本地端上训练，
FL（Federated Learning ）就是Fedavg，
FD（Federated Distillation）就是FD-FAug的FD部分，
文章提出的HFD是在FD上进行修改，本地更新时，先从PS（ Parameter Server，就是server端）下载global logits（每个类别的全局平均logits）和globa

最低0.47元/天 解锁文章
qq_1925620345
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 705
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》
qq_37393549的博客
12-19 761
《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》 Abstract 1⃣️ Federated Learning’s convergence suffers from data heterogeneity. 2⃣️ forgetting could be the bottleneck of global convergence. 3⃣️ Continual
【阅读笔记】Towards Personalized Federated Learning个性化联邦综述
charlessun9的博客
07-15 3873
个性化联邦学习综述，介绍了当前非独立同分布的数据情况，以及相应的解决方案、论文。同时也对PFL进行了分类，四大类、十小类，方便相关研究人员针对性的学习
边缘智能相关论文(Edge Intelligence & Federated Learning)
威化饼的一隅
12-09 4199
边缘智能相关论文Federated Learning PreliminaryFast InferenceModel Compression Federated Learning Preliminary Privacy-Preserving Deep Learning,CCS, 2015 文中提出了Distributed Selective SGD，许多联邦学习文章都会引用该论文。 Communi...
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 5900
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
论文笔记：Deep Learning for Trajectory Data Management and Mining: A Survey and Beyond
qq_40206371的博客
03-30 1591
时空点 p 是一个独特的实体，形式为 (o, t, l, f)移动对象 o 在时间戳 t 下访问位置 l，并带有一个可选属性特征 f。
一些联邦学习论文阅读
weixin_45620650的博客
06-12 940
没讲，直接根据模型参数大小自己划的没讲，直接根据模型参数大小自己划分。
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9477
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
联邦学习论文整理
weixin_43773486的博客
01-14 2039
部分联邦论文整理-仅供参考-附其他人的整理工作-持续更新..
李则熹-Wireless Federated Distillation for Distributed Edge1
08-04
本文专注于研究无线环境下的联邦学习（Federated Learning, FL）及其在异构数据上的应用，同时提出了一种新的混合联邦蒸馏（Hybrid Federated Distillation, HFD）方案。我们探讨了基于独立源-信道编码的数字实现和...
Optimizing Federated Learning on Non-IID Data with Reinforcement
09-07
联邦学习（Federated Learning）是一种新兴的分布式机器学习方法，旨在在保护用户数据隐私的同时，利用分散在各个设备上的数据进行模型训练。随着移动设备的普及，非独立同分布（Non-IID）数据成为联邦学习面临的...
Client Selection for Federated Learning with.pdf
05-02
针对这一问题，论文《Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge》提出了一个新联邦学习协议FedCS（Federated Learning with Client Selection），其旨在高效地执行联邦...
2018-FL分布式医学数据研究-Federated Learning in Distributed Medical Datab
08-03
分布式医学数据研究——联邦学习在分散的医学数据库中的应用 随着全球医学数据库中脑部图像数量的爆炸性增长，结合数据分析技术，我们有机会更深入地理解大脑疾病背后的遗传因素。然而，由于隐私保护和法律法规的...
Federated Learning in Mobile Edge Networks: A Comprehensive Survey .pdf
11-03
针对日益严格的数据隐私立法和日益增长的隐私关注，联邦学习(FL)的概念被引入。在FL中，终端设备使用它们的本地数据来训练服务器所需的ML模型。然后，终端设备将模型更新而不是原始数据发送到服务器进行聚合。...
Object-C编程能力扩展
08-24
随着嵌入式硬件和软件系统的发展，过程式编程语言难以满足需求，而现有面向对象语言在嵌入式系统下使用存在障碍。本文提出利用 C 的宏扩展其面向对象编程能力，使其成为支持面向对象编程风格的 Object-C 宏语言。通过实例验证，Object-C 宏语言能够有效支持面向对象编程，为嵌入式开发者提供一种经济、有效的解决方案。
ssm229基于SSM的高校学生综合素质评价系统.zip
最新发布
08-24
ssm229基于SSM的高校学生综合素质评价系统.zip
黑苹果引导OC-0.8.0
08-24
苹果OC引导，即OpenCore引导，是一种用于在非苹果硬件上安装和运行macOS操作系统的引导加载程序。OpenCore提供了更接近苹果原生引导体验的功能，使得黑苹果的安装和使用变得更加便捷和稳定。 与传统的Clover引导相比，OpenCore引导具有以下优势： 更接近原生：OpenCore通过更深入地模拟macOS的启动环境，使得非官方硬件平台上的macOS系统表现更接近原生系统。 更好的兼容性：OpenCore支持更多的硬件设备和macOS版本，能够提供更好的兼容性和稳定性。 更易于配置：OpenCore的配置文件结构更为清晰，配置过程也更为直观和简单。 在使用OC引导安装或运行macOS时，可能会遇到各种问题，如启动卡代码、设备无法识别等。针对这些问题，可以通过以下方式解决： 检查配置文件：确保config.plist文件中的各项设置正确无误，特别是设备属性和驱动程序部分。 更新固件和驱动程序：确保主板固件和所有必要的驱动程序都是最新版本，以解决已知的兼容性问题。 查看日志和错误信息：通过OC引导提供的日志和错误信息来定位问题所在，并尝试找到相应的解决方案。
Spring Cloud商城项目专栏 010 OSS文件上传
08-24
Spring Cloud商城项目专栏 010 OSS文件上传
federated learning with non-iid data
06-28
"Federated learning with non-iid data" 的含义是：在非独立同分布数据（non-iid data）的情况下进行联邦学习。联邦学习是一种分布式学习的方法，其特点是模型的训练和更新是在本地设备上进行，而不是在中心服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值