该专栏为热销专栏榜 第55名
本文研究了联邦学习在数据异质性环境下出现的维度塌陷问题，指出局部模型和全局模型的维度塌陷是主要原因。提出了一种名为 FEDDECORR 的新方法，通过在本地训练阶段应用正则化项，有效减轻维度塌陷，提高模型性能。在CIFAR10、CIFAR100、TinyImageNet等多个数据集上，FEDDECORR展示了优于基线方法的性能，并在各种异质性设置下表现稳定。
Understanding and Mitigating Dimensional Collapse in Federated Learning
题目：理解并缓解联邦学习中的维度塌缩问题
作者：Yujun Shi , Jian Liang , Member, IEEE, Wenqing Zhang , Chuhui Xue ,
Vincent Y. F. Tan , Senior Member, IEEE, and Song Bai
源码：https://github.com/bytedance/FedDecorr.
摘要
联邦学习旨在在不同客户端之间协作训练模型，而无需共享数据以考虑隐私问题。然而，这种学习范式的一个主要挑战是数据异质性问题，这指的是不同客户端之间本地数据分布的差异。为了解决这个问题，我们首先研究了数据异质性如何影响全局聚合模型的表示。有趣的是，我们发现异质性数据导致全局模型遭受严重的维度塌陷，其
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
