边缘计算～

深度学习的最新发展彻底改变了许多应用领域，例如图像处理，自然语言处理和视频分析[1]。到目前为止，深度学习模型主要是在一些强大的计算平台（例如云数据中心）上进行训练的，该平台具有集中收集的海量数据集。但是，在许多应用程序中，数据是在诸如智能手机和传感器之类的终端设备上生成和分发的，将它们移动到中央服务器进行模型训练将违反对隐私的日益关注。因此，保护​​隐私的分布式培训已开始受到广泛关注。 2017年，Google提出了联合学习（FL）和联合平均（FAVG）算法[2]来训练深度学习模型，而无需将数据集中在数据中心。使用此算法，本地设备从云服务器下载全局模型，执行几个时期的本地训练，然后将模型权重上传到服务器以进行模型聚合。重复该过程，直到模型达到所需的精度为止，如图1所示。FL通过将过程分解为两个步骤来实现完全分布式的训练，即基于客户端的本地数据的并行模型更新和服务器上的全局模型聚合。图1：基于云，基于边缘和客户端边缘云的分层FL已验证了其可行性。还说明了FAVG算法的过程。 [3]。此后，它引起了学术界和工业界的极大关注[4]。虽然大多数最初的FL研究都以云为参数服务器，但随着边缘计算平台的出现[5]，研究人员已开始研究基于边缘的FL系统[6] – [8]。对于基于边缘的FL，最接近的边缘服务器将充当参数服务器，而其服务器通信范围内的客户端将协作以训练深度学习模型。尽管基于云和基于边缘的FL系统都应用相同的FAVG算法，但两个系统之间存在一些根本差异，如图1所示。在基于云的FL中，参与的客户总数可以达到数百万[ 9]，提供深度学习所需的海量数据集。同时，例如，由于网络拥塞，与云服务器的通信缓慢且不可预测，这使得训练过程效率低下[2]，[9]。分析表明，FAVG的通信效率和收敛速度之间存在一个权衡[10]。具体而言，需要较少的通信，但需要更多的本地计算。相反，在基于边缘的FL中，参数服务器位于邻近的边缘，例如基站。因此，计算的等待时间与与边缘参数服务器通信的等待时间相当。因此，可以在计算和通信中寻求更好的权衡[7]，[8]。然而，基于边缘的FL的一个缺点是每个服务器可以访问的客户端数量有限，从而导致不可避免的培训性能损失。