wyk403-CSDN博客

原创 (FEDHKD)THE BEST OF BOTH WORLDS: ACCURATE GLOBAL AND PERSONALIZED MODELS

FedHKD的独特之处：与其他基于KD的pFL方法不同，FedHKD不依赖于公共数据集，也不在服务器上部署生成模型。服务器聚合这些超知识信息，并广播给客户端以支持其本地训练。

2023-12-02 21:02:14 1271 1

原创 Learn from Others and Be Yourself in Heterogeneous Federated Learning论文阅读

作者受**自监督学习**的启发，**利用未标注的公共数据进行联合交叉相关学习，通过最大化相同类别在不同域的输出相似性和最小化输出冗余性，从而使模型学习到类别不变性并增强不同类别间的区分度。****对于灾难性遗忘问题，作者提出了一种知识蒸馏方法，通过在本地更新阶段持续学习跨域和域内知识，以避免遗忘其他参与者的信息。**具体来说，作者提出在本地更新阶段，利用之前轮次中学到的跨域知识的内域（本地）模型的知识，以及使用最初预训练的本地模型（未学习其他参与者知识）作为约束，来平衡来自他人和自身的知识。

2023-12-01 19:50:47 1195 1

原创 Communication-Efficient and Model-Heterogeneous Personalized FL via Clustered Knowledge论文阅读

这篇论文提出了一个名为 COMET 的个性化联合学习（PFL）框架，专注于在边缘设备（如物联网设备和智能手机）上进行高效的模型训练。这些边缘设备通常具有不同的系统能力和有限的通信带宽。COMET 框架的独特之处在于，它允许不同的客户端使用自选的异构模型进行训练，而不是直接交换模型参数。这通过一种称为集群共蒸馏（clustered codistillation）的技术实现，其中客户端通过知识蒸馏将自己的知识传递给数据分布相似的其他客户端。

2023-12-01 19:44:11 856 1

原创 DENSE: Data-Free One-Shot Federated Learning论文笔记

- 采用两阶段框架：数据生成阶段和模型蒸馏阶段。 **数据生成阶段**：使用客户端上传的本地模型集合训练生成器（训练了一个同时考虑相似性、稳定性和可转移性的生成器），生成合成数据。 **模型蒸馏阶段**：将集合模型的知识蒸馏到全局模型中。 - 无需额外信息交换：只需在客户端和服务器之间传输模型参数。- 无需辅助数据集：不需要额外的训练数据。- 考虑模型异质性：适应不同客户端拥有不同的模型架构。

2023-11-29 17:00:39 1015 1

原创（FEDCVAE-KD）DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY论文笔记

一次性FL方法在高统计异质性的情况下往往会退化，无法提高管道的安全性，或者需要一个辅助的公共数据集。为了解决这些局限性，我们提出了两种新的无数据的一次性FL方法:FEDCVAE-ENS和它的扩展FEDCVAEKD。这两种方法都使用条件变分自动编码器(CVAE)重构局部学习任务，以解决高统计异质性。

2023-11-29 15:32:02 1080

原创 2023暨南大学848（计算机技术）经验贴（专业课第一）

2023暨南大学848（计算机技术）经验贴（专业课第一，复试逆袭三十名）

2023-04-06 01:03:29 2545 10

wyk403的博客

原创 (FEDHKD)THE BEST OF BOTH WORLDS: ACCURATE GLOBAL AND PERSONALIZED MODELS

原创 Learn from Others and Be Yourself in Heterogeneous Federated Learning论文阅读

原创 Communication-Efficient and Model-Heterogeneous Personalized FL via Clustered Knowledge论文阅读

原创 DENSE: Data-Free One-Shot Federated Learning论文笔记

原创（FEDCVAE-KD）DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY论文笔记

原创 2023暨南大学848（计算机技术）经验贴（专业课第一）

空空如也

空空如也

原创 (FEDHKD)THE BEST OF BOTH WORLDS: ACCURATE GLOBAL AND PERSONALIZED MODELS

原创 Learn from Others and Be Yourself in Heterogeneous Federated Learning论文阅读

原创 Communication-Efficient and Model-Heterogeneous Personalized FL via Clustered Knowledge论文阅读

原创 DENSE: Data-Free One-Shot Federated Learning论文笔记

原创 （FEDCVAE-KD）DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY论文笔记

原创 2023暨南大学848（计算机技术）经验贴（专业课第一）

空空如也

空空如也

原创（FEDCVAE-KD）DATA-FREE ONE-SHOT FEDERATED LEARNING UNDER VERY HIGH STATISTICAL HETEROGENEITY论文笔记