- 博客(26)
- 收藏
- 关注
原创 CReFF: IJCAJ 2022
主要想法是搞出来一堆Federated Features,让他们和真实的数据Features相似,从而用Federated Features对全局模型的分离器进行重训练。文章指出,在联邦学习异质和长尾数据条件下,有偏的分类器是导致全局模型性能下降的主要原因。因此作者提出一种方法对全局模型的分类器进行重训练。
2023-06-12 09:56:30
261
原创 AN AGNOSTIC APPROACH TO FEDERATED LEARNING WITH CLASS IMBALANCE
这篇论文的核心就是他不管分布信息,以一种Agnostic的方式来面对Class Imbalance in FL。本地分布和全局分布有可能是不一致的——本地的少数类有可能是全局的多数类。出于隐私考虑,又不能暴露本地分布。论文的理论性比较强,但我感觉效果上应该不太行的。换个设置估计就不行了。但是并不妨碍中了顶会。他的 Imbalance Ratio是自己定义的,而不是像大家约定的那样。接下来通过拉格朗日乘子来求解,数学看不懂。(是不是有点像Fedprox?
2023-06-10 20:52:55
318
原创 Addressing Class Imbalance in Federated Learning: AAAI 2021
结论:肯定是不能顺着他的路继续研究怎么推断Client的类别分布了,太难了。既然类别分布信息这么重要,我们就假定我们可以知道吧。在研究FL的Global Imbalance问题时,训练数据的分布信息很重要。咱也看不懂他是怎么设计的monitor,咱就假设可以知道想要的信息(类别分布)了,然后Ratio Loss是啥呢?(那如果我们放宽条件,直接就可以得到训练数据的组成呢?设计一个monitor,当发现类别不平衡时就应用Ratio Loss?感觉论文的Ratio Loss这部分篇幅比较小,没有着重分析。
2023-06-10 20:19:22
290
2
原创 LABEL-DISTRIBUTION-AGNOSTIC ENSEMBLE LEARNING ON FEDERATED LONG-TAILED DATA
如果能得到每个客户的各类别数量信息,就可以从全局的角度进行re-balance。文章的核心就是怎么估计这个类别数量信息,从而得到全局的先验信息,进而进行平衡训练。但是与FedROD不同,他用的分布是Global训练数据的先验分布,而不是Local DIstribution。按他的栗子来,n0+:30, n0- :70 n1+:800, n1-:200。相当于C0相较全局是反长尾的,不能按照本地分布进行矫正。
2023-06-09 16:54:56
198
原创 Federated Learning with Classifier Shift for Class Imbalance
文章提到,为了解决FL中的class imbalance问题,直觉的想法对客户训练数据进行resampling 或者 reweighting是有问题的,因为有些类别很少甚至压根没有。这么做甚至会带来严重的性能下降。跟着推了一遍,确实是这样,6啊,这么简单的事情怎么才被人发现呢!正常实验的话p(y=k)就应该是 1/k。
2023-05-11 11:09:32
174
原创 FEDFA
右图是本文提出的方法,每个特征有对应的锚点(feature anchor),在本地训练时让特征去靠近锚点,(一定程度上)就可以缓解特征不一致问题,同时校正本地模型的分类器(calibrate classifier),进而分类器的差异性也会降低,形成。在本地训练时,特征锚点是固定的,(之后就是我自己的理解了)但是前向传播的时候记录特征的均值,训练结束的时候以动量的形式对特征锚点进行更新。在每个mini-batch的更新的最后,使用特征锚点对分类器进行更新校正,这样每轮训练开始时,大家的分类器差异性就小了。
2023-05-10 14:57:41
217
原创 TOWARDS UNDERSTANDING AND MITIGATING DIMENSIONAL COLLAPSE IN HETEROGENEOUS FEDERATED LEARNING
ICLR 2023
2023-03-31 14:39:24
767
原创 TURNING THE CURSE OF HETEROGENEITY IN FEDERATED LEARNING INTO A BLESSING FOR OUT-OFDISTRIBUTION DETE
ICLR2023
2023-03-20 10:17:52
129
原创 THE BEST OF BOTH WORLDS: ACCURATE GLOBAL AND PERSONALIZED MODELS THROUGH FEDERATED LEARNING WITH DAT
ICLR 2023
2023-03-19 17:04:50
341
4
原创 FedALA: Adaptive Local Aggregation for Personalized Federated Learning
AAAI 2023
2023-03-14 11:13:29
896
原创 PERSONALIZED FEDERATED LEARNING WITH FEATURE ALIGNMENT AND CLASSIFIER COLLABORATION,ICLR 2023
ICLR 2023, FedPAC
2023-03-08 17:23:15
636
1
原创 No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data, NIPS 2021
CCVR
2023-03-02 11:02:07
129
原创 Measuring the Effects of Non-Identical Data Distribution for Federated Visual Classification
FedAvgM
2023-02-28 11:21:50
186
原创 SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
SCAFFOLD
2023-02-27 10:55:51
136
原创 ACCELERATION OF FEDERATED LEARNING WITH ALLEVIATED FORGETTING IN LOCAL TRAINING, ICLR 2022
ICLR2022,Acceleration of Federated Learning with Alleviated Forgetting in Local Training,
2023-02-25 13:29:36
119
原创 Balanced Meta-Softmax for Long-Tailed Visual Recognition
Balanced Meta-Softmaxfor Long-Tailed Visual Recognition
2023-02-24 14:31:08
328
原创 Multi-Level Branched Regularization for Federated Learning, ICML 2022
Multi-Level Branched Regularization for Federated Learning
2023-02-22 10:45:39
114
原创 Preservation of the Global Knowledge by Not-True Distillation in Federated Learning,NIPS 2022
Preservation of the Global Knowledge by Not-True Distillation in Federated Learning
2023-02-20 21:36:03
236
4
原创 Federated Learning with Label Distribution Skew via Logits Calibration, ICML 2022
Federated Learning with Label Distribution Skew via Logits Calibration,ICML 2022
2023-02-17 11:06:35
452
1
原创 Personalized Edge Intelligence via Federated Self-Knowledge Distillation, TPDS 2023
Personalized Edge Intelligence via Federated Self-Knowledge Distillation
2023-02-16 21:58:17
248
原创 FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data, KDD 2021
FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data
2023-02-15 17:01:10
817
原创 Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023
Tackling Data Heterogeneity in Federated Learning with Class Prototypes
2023-02-14 18:14:00
385
1
原创 SphereFed: Hyperspherical Federated Learning 球联邦学习 ECCV 2022
SphereFed: Hyperspherical Federated Learning
2023-02-13 16:06:16
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人