论文阅读之联邦学习系列
文章平均质量分 79
论文阅读笔迹-联邦学习+知识蒸馏
qq_1925620345
这个作者很懒,什么都没留下…
展开
-
Rethinking Federated Learning with Domain Shift: A Prototype View
SkS^kSk表示用类别为kkk的样本集,cmkc^k_mcmk表示第mmm个参与者kkk类样本的原型。原型是各自语义信息的典型,携带特定领域的风格信息,因为原型在不同的领域并不一致(直接理解成高维映射就行)。因此,它激励我们利用来自不同领域的原型来学习可泛化的模型,而不会泄露隐私信息。原创 2024-07-04 17:07:50 · 1108 阅读 · 0 评论 -
FCCL+:Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
TPAMI2023,提出了一种新颖的 FCCL+,即带有非目标蒸馏的联邦相关性和相似性学习,促进了域内可辨别性和域间泛化。对于异构性问题,我们利用不相关的未标记公共数据进行异构参与者之间的通信。我们构建了互相关矩阵并在 logits 和特征级别上对齐实例相似性分布,有效地克服了沟通障碍并提高了泛化能力。对于局部更新阶段的灾难性遗忘,FCCL+ 引入了联邦非目标蒸馏,它在避免优化冲突问题的同时保留了域间知识,通过描述后验类关系充分蒸馏了特权域间信息。原创 2024-07-01 16:47:00 · 882 阅读 · 0 评论 -
PGFed: Personalize Each Client’s Global Objective for Federated Learning
ICCV-2023, 文章提出显式隐式的概念,作者通过实验发现显式比隐式的效果好,显式方式通过直接与多个客户的经验风险互动来更新模型,并用泰勒展开式降为ON通讯成本。原创 2024-06-12 21:07:02 · 761 阅读 · 0 评论 -
FCCL:Learn from others and Be yourself in Heterogeneous Federated Learning
CVPR2022,通过在公开数据集上的logits相似性(同类相近、异类原理)来迁移客户端知识,通过上轮模型和初始模型延缓遗忘。原创 2024-06-03 21:47:50 · 1044 阅读 · 0 评论 -
FEDCVAE-KD:DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY
ICLR 2023,这篇是用变分自编码器做数据生成,传到server端指导解码器训练,然后生成伪数据训练分类器。原创 2024-05-29 23:31:58 · 742 阅读 · 0 评论 -
FedSyn: Synthetic Data Generation using Federated Learning
arxiv2022,没找到是哪个刊物的,是没投中吗?这篇是用GAN做数据生成,每个client都训练一个生成器,加噪声传到server端聚合,实验是衡量生成图片的质量。code:没找到。原创 2024-05-23 22:27:17 · 332 阅读 · 0 评论 -
DENSE: Data-Free One-Shot Federated Learning
NeurIPS2022,论文原名《A Practical Data-Free Approach to One-shot Federated Learning with Heterogeneity》。文中提出了一种新颖的两阶段无数据一次性联合学习(DENSE)框架,该框架通过数据生成阶段和模型蒸馏阶段来训练全局模型。在第一阶段,利用集成模型(即客户端上传的本地模型的集成)来训练生成器,生成器可以生成用于第二阶段训练的合成数据。在第二阶段,将集成模型的知识提炼为全局模型。原创 2024-05-20 17:38:32 · 602 阅读 · 0 评论 -
杂项,方法动机
一些方法的动机,原创 2024-05-19 14:26:45 · 115 阅读 · 0 评论 -
DOSFL:Distilled One-Shot Federated Learning
CoRR2020,这篇是结合了OneShot Federated Learning(CoRR2019)和Data Distill(CoRR2018),client端训练出一组合成数据,使得模型每次在真实数据的更新与在合成数据上的更新尽量一致,这组合成数据传输到server端训练全局模型。我主要是想看下如何在FL上做数据蒸馏。code: 没找到。原创 2024-05-18 23:29:42 · 619 阅读 · 0 评论 -
FedDF:Ensemble Distillation for Robust Model Fusion in Federated Learning
code: 没找到。原创 2024-05-17 21:30:27 · 332 阅读 · 0 评论 -
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
PIMRC2019,code: 没找到。原创 2024-05-14 21:25:33 · 280 阅读 · 0 评论 -
FedDML:Federated Mutual Learning
这篇把DML运用到FL上论文地址:arvixcode: 作者git我们针对三种异质性(DOM)提出了一种新颖的联邦学习范式,称为联邦相互学习(FML)。 首先,FML 处理数据和目标通过使每个客户能够训练个性化模型来实现异质性。 从OH的意义上来说,DH对服务器有害,但对客户端有利,这意味着数据的非独立同分布性不再是一个bug,而是一个可以更好地为客户端服务的特性; 其次,本地个性化模型可以从具有相似但不同任务的 FML 协作训练中受益。 第三,FML允许客户针对各种场景和任务设计自己的定制模型。PS:D原创 2024-05-14 17:17:10 · 315 阅读 · 0 评论 -
FedMD: Heterogenous Federated Learning via Model Distillation
NeurIPS2019,通过一个全局数据集实现知识蒸馏。code: 没找到。原创 2024-05-14 10:43:51 · 450 阅读 · 0 评论 -
FD-FAug:Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation
NeurIPS2018,应该是第一篇结合蒸馏和联邦的文章了,所以从这开始看顶会顶刊的文章,希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率,使用GAN生成图片处理数据异构问题。code: 没找到。原创 2024-05-13 21:44:45 · 842 阅读 · 0 评论