- 博客(26)
- 收藏
- 关注
RSS订阅原创 CReFF: IJCAJ 2022
主要想法是搞出来一堆Federated Features，让他们和真实的数据Features相似，从而用Federated Features对全局模型的分离器进行重训练。文章指出，在联邦学习异质和长尾数据条件下，有偏的分类器是导致全局模型性能下降的主要原因。因此作者提出一种方法对全局模型的分类器进行重训练。
2023-06-12 09:56:30
261
原创 AN AGNOSTIC APPROACH TO FEDERATED LEARNING WITH CLASS IMBALANCE
这篇论文的核心就是他不管分布信息，以一种Agnostic的方式来面对Class Imbalance in FL。本地分布和全局分布有可能是不一致的——本地的少数类有可能是全局的多数类。出于隐私考虑，又不能暴露本地分布。论文的理论性比较强，但我感觉效果上应该不太行的。换个设置估计就不行了。但是并不妨碍中了顶会。他的 Imbalance Ratio是自己定义的，而不是像大家约定的那样。接下来通过拉格朗日乘子来求解，数学看不懂。（是不是有点像Fedprox？
2023-06-10 20:52:55
318
原创 Addressing Class Imbalance in Federated Learning： AAAI 2021
结论：肯定是不能顺着他的路继续研究怎么推断Client的类别分布了，太难了。既然类别分布信息这么重要，我们就假定我们可以知道吧。在研究FL的Global Imbalance问题时，训练数据的分布信息很重要。咱也看不懂他是怎么设计的monitor，咱就假设可以知道想要的信息（类别分布）了，然后Ratio Loss是啥呢？（那如果我们放宽条件，直接就可以得到训练数据的组成呢？设计一个monitor，当发现类别不平衡时就应用Ratio Loss？感觉论文的Ratio Loss这部分篇幅比较小，没有着重分析。
2023-06-10 20:19:22
290
2
原创 LABEL-DISTRIBUTION-AGNOSTIC ENSEMBLE LEARNING ON FEDERATED LONG-TAILED DATA
如果能得到每个客户的各类别数量信息，就可以从全局的角度进行re-balance。文章的核心就是怎么估计这个类别数量信息，从而得到全局的先验信息，进而进行平衡训练。但是与FedROD不同，他用的分布是Global训练数据的先验分布，而不是Local DIstribution。按他的栗子来，n0+：30, n0- ：70 n1+：800, n1-：200。相当于C0相较全局是反长尾的，不能按照本地分布进行矫正。
2023-06-09 16:54:56
198
原创 Federated Learning with Classifier Shift for Class Imbalance
文章提到，为了解决FL中的class imbalance问题，直觉的想法对客户训练数据进行resampling 或者 reweighting是有问题的，因为有些类别很少甚至压根没有。这么做甚至会带来严重的性能下降。跟着推了一遍，确实是这样，6啊，这么简单的事情怎么才被人发现呢！正常实验的话p(y=k)就应该是 1/k。
2023-05-11 11:09:32
174
原创 FEDFA
右图是本文提出的方法，每个特征有对应的锚点（feature anchor），在本地训练时让特征去靠近锚点，（一定程度上）就可以缓解特征不一致问题，同时校正本地模型的分类器（calibrate classifier），进而分类器的差异性也会降低，形成。在本地训练时，特征锚点是固定的，（之后就是我自己的理解了）但是前向传播的时候记录特征的均值，训练结束的时候以动量的形式对特征锚点进行更新。在每个mini-batch的更新的最后，使用特征锚点对分类器进行更新校正，这样每轮训练开始时，大家的分类器差异性就小了。
2023-05-10 14:57:41
217
原创 TOWARDS UNDERSTANDING AND MITIGATING DIMENSIONAL COLLAPSE IN HETEROGENEOUS FEDERATED LEARNING
ICLR 2023
2023-03-31 14:39:24
767
原创 TURNING THE CURSE OF HETEROGENEITY IN FEDERATED LEARNING INTO A BLESSING FOR OUT-OFDISTRIBUTION DETE
ICLR2023
2023-03-20 10:17:52
129
原创 THE BEST OF BOTH WORLDS: ACCURATE GLOBAL AND PERSONALIZED MODELS THROUGH FEDERATED LEARNING WITH DAT
ICLR 2023
2023-03-19 17:04:50
341
4
原创 FedALA: Adaptive Local Aggregation for Personalized Federated Learning
AAAI 2023
2023-03-14 11:13:29
896
原创 PERSONALIZED FEDERATED LEARNING WITH FEATURE ALIGNMENT AND CLASSIFIER COLLABORATION,ICLR 2023
ICLR 2023， FedPAC
2023-03-08 17:23:15
636
1
原创 No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data, NIPS 2021
CCVR
2023-03-02 11:02:07
129
原创 Measuring the Effects of Non-Identical Data Distribution for Federated Visual Classification
FedAvgM
2023-02-28 11:21:50
186
原创 SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
SCAFFOLD
2023-02-27 10:55:51
136
原创 ACCELERATION OF FEDERATED LEARNING WITH ALLEVIATED FORGETTING IN LOCAL TRAINING, ICLR 2022
ICLR2022，Acceleration of Federated Learning with Alleviated Forgetting in Local Training，
2023-02-25 13:29:36
119
原创 Balanced Meta-Softmax for Long-Tailed Visual Recognition
Balanced Meta-Softmaxfor Long-Tailed Visual Recognition
2023-02-24 14:31:08
328
原创 Multi-Level Branched Regularization for Federated Learning, ICML 2022
Multi-Level Branched Regularization for Federated Learning
2023-02-22 10:45:39
114
原创 Preservation of the Global Knowledge by Not-True Distillation in Federated Learning，NIPS 2022
Preservation of the Global Knowledge by Not-True Distillation in Federated Learning
2023-02-20 21:36:03
236
4
原创 Federated Learning with Label Distribution Skew via Logits Calibration, ICML 2022
Federated Learning with Label Distribution Skew via Logits Calibration，ICML 2022
2023-02-17 11:06:35
452
1
原创 Personalized Edge Intelligence via Federated Self-Knowledge Distillation, TPDS 2023
Personalized Edge Intelligence via Federated Self-Knowledge Distillation
2023-02-16 21:58:17
248
原创 FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data, KDD 2021
FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data
2023-02-15 17:01:10
817
原创 Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023
Tackling Data Heterogeneity in Federated Learning with Class Prototypes
2023-02-14 18:14:00
385
1
原创 SphereFed: Hyperspherical Federated Learning 球联邦学习 ECCV 2022
SphereFed: Hyperspherical Federated Learning
2023-02-13 16:06:16
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人