【荐读IEEE TPAMI】理解并缓解联邦学习中的维度塌缩问题

Understanding and Mitigating Dimensional Collapse in Federated Learning

题目：理解并缓解联邦学习中的维度塌缩问题

作者：Yujun Shi , Jian Liang , Member, IEEE, Wenqing Zhang , Chuhui Xue ,
Vincent Y. F. Tan , Senior Member, IEEE, and Song Bai
源码：https://github.com/bytedance/FedDecorr.

---

摘要

联邦学习旨在在不同客户端之间协作训练模型，而无需共享数据以考虑隐私问题。然而，这种学习范式的一个主要挑战是数据异质性问题，这指的是不同客户端之间本地数据分布的差异。为了解决这个问题，我们首先研究了数据异质性如何影响全局聚合模型的表示。有趣的是，我们发现异质性数据导致全局模型遭受严重的维度塌陷，其中表示倾向于位于较低维度的空间而不是整个空间。这种维度塌陷现象严重限制了模型的表达能力，导致性能显著下降。接下来，通过实验，我们进行了更多的观察，并提出了导致这种现象的两个原因：1）局部模型的维度塌陷；2）全局模型参数的全局平均操作。此外，我们理论上分析了梯度流动态