边缘计算2

通过以上比较，我们发现有必要利用云服务器来访问大量的培训样本，而每个边缘服务器都可以通过其本地客户端享受快速的模型更新。这促使我们提出如图1右侧所示的客户端边缘云分层FL系统，以充分利用这两个系统。与基于云的FL相比，分层FL将显着减少与云的昂贵通信，并辅之以高效的客户端更新，从而显着减少了运行时间和本地迭代次数。另一方面，随着云服务器可以访问更多数据，在模型训练中，分层FL将优于基于边缘的FL。从图2可以清楚地观察到这两个方面，图2给出了本文要介绍的结果的预览。尽管可以直观地说明优点，但分层FL系统的设计并不简单。首先，通过将FAVG算法扩展到分层设置，新算法是否还会收敛？给定模型聚合的两个级别（一个在边缘，一个在云），应该在每个级别多长时间聚合一次模型？此外，通过允许频繁的本地更新，是否可以实现更好的延迟能量折衷？在本文中，我们解决了这些关键问题。首先，提供了严格的证明以显示训练算法的收敛性。通过收敛分析，还给出了一些关于在两个级别上选择聚集频率的定性准则。 MNIST [11]和CIFAR-10 [12]数据集的实验结果支持了我们的发现，并证明了与基于云的系统相比，实现更好的通信计算权衡的优势。

在本节中，我们首先介绍FL中的一般学习问题。 基于云和基于边缘的FL系统仅在通信和参与客户端的数量方面有所不同，并且在体系结构方面彼此相同。 因此，在本节中，我们将它们视为相同的传统两层FL系统，并介绍被广泛采用的FAVG [2]算法。 对于客户端-边缘-云分层FL系统，我们提出了三层FL系统及其优化算法，即HierFAVG。

摘要

联合学习是一种协作式机器学习框架，用于训练深度学习模型而无需访问客户的私人数据。先前的工作假定一个中央参数服务器位于云或边缘。云服务器可以访问更多数据，但通信开销过大且延迟时间长，而边缘服务器享受与客户端的更有效通信。为了结合它们的优势，我们提出了一种客户端边缘云分层联合学习系统，该系统受HierFAVG算法支持，该算法允许多个边缘服务器执行部分模型聚合。这样，可以更快地训练模型，并且可以实现更好的通信计算权衡。为HierFAVG提供收敛分析，并研究关键参数的影响，从而得出定性的设计准则。实证实验验证了分析并证明了这种分层体系结构在不同数据分发方案中的好处。特别是，与基于云的联合学习相比，通过引入中间边缘服务器，可以同时减少模型训练时间和终端设备的能耗。