分层联邦学习①-SHARE

SHARE: Shaping Data Distribution at Edge for Communication-Efficient Hierarchical Federated Learning

摘要：

联合学习（FL）可以在移动节点上实现分布式模型训练，而无需共享对隐私敏感的原始数据。然而，为了实现高效的FL，一个重大挑战是提交模型更新的通信开销过高，因为通常需要频繁的云模型聚合才能达到目标精度，尤其是当移动节点处的数据分布不平衡时。通过试点实验，验证了如果模型聚合可以在边缘进行，则可以避免频繁的云模型聚合而不会降低性能。为此，我们介绍了分层联合学习（HFL）框架，其中选择分布式节点的子集作为边缘聚合器来进行边缘聚合。特别是，在HFL框架下，我们提出了一个通信成本最小化（CCM）问题，以最小化边缘/云聚合带来的通信成本，并对边缘聚合器的选择和分布式进行决策

问题提出：

为了实现高效的FL，一个重大挑战是提交模型更新的通信开销过高，因为通常需要频繁的云模型聚合才能达到目标精度，尤其是当移动节点处的数据分布不平衡时。矛盾的是，分布式节点通常在通信/带宽资源方面受到限制，无法频繁与云通信。

此外，随着学习模型结构变得越来越复杂（例如，深度神经网络），模型更新的数据量将显著增加，加剧通信开销。

现有工作：

①压缩方案，如稀疏化、量化和草图，被应用于压缩模型更新，以减少每轮通信的消息大小。它们可以降低每轮通信成本，但代价是精度和收敛速度方面的性能下降不可忽略&#x