- 博客(4)
- 收藏
- 关注
RSS订阅原创 论文阅读笔记--Clustered Federated Learning:Model-Agnostic Distributed Multitask Optimization Under Privacy
Introduction传统的Parameter Server（P-S）架构的联邦学习系统尝试训练出一个模型，让它能适用于每一个client的数据分布，这暗含了一个假设，模型的最优解θ∗\theta^*θ∗同时是所有client的最优解，各个client的模型是全等的（congruent）。也就是作者提到的Assumption 1:显然这个条件不是任何时候都可以得到满足的，作者列举了两种例子：1）模型fθf_{\theta}fθ表达能力不够强，无法同时拟合所有client的数据集；2）各个客户端
2022-03-16 13:40:14
3371
2
原创 论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
本文提出了一种新的场景，联邦学习（FL）的每个client各自执行一系列的持续学习（Continual Learning）任务，为了说明这个场景的实际意义，文章给出了这样一个场景：若干个医院要通过一个联邦学习框架交流自己的知识，每个医院的模型都在进行自己的一系列的疾病预测任务。作者以一个持续学习算法（Additive Parameter Decomposition，APD）为基础，加上了client之间的知识的加权，构成了整个算法，其中APD是本文同一作者发表在2020年ICLR的论文。Continu
2022-02-01 12:58:49
3760
4
原创 论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）
链接：https://arxiv.org/abs/2105.10056v2这篇文章发表在ICML 2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（Knowledge Distillation，K-D）的方法大多都需要server有一批代理数据（proxy data），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还会影响全局聚合的质量。FEDGEN相比之前的算法有3个优越性：1）不需要server拥有额外的数据；2）K
2022-01-19 00:00:55
7143
10
原创 分布式机器学习&联邦学习论文阅读笔记（持续更新）
分布式机器学习&联邦学习论文阅读笔记一、开源框架FedML二、数据异构问题FedProxBridging Median and Mean Algorithms（NeurIPS 2020）三、边缘计算负载问题FedGKT（NeurIPS 2020）四、通信量压缩FetchSGD（ICML 2020）五、个性化联邦学习Ditto（ICML 2021）pFedHN（ICML2021）一、开源框架FedMLhttps://github.com/FedML-AI/FedML二、数据异构问题FedPr
2021-11-04 16:55:42
4453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人