文献阅读8

HFEL: Joint Edge Association and ResourceAllocation for Cost-Efficient Hierarchical FederatedEdge Learning （HFEL：联合边缘关联和资源分配，以实现具有成本效益的分层联合边缘学习）

摘要
与使用原始用户数据上传的远程云上的常规机器学习相比，联合学习（FL）已被提出作为一种有吸引力的方法来处理移动设备的数据隐私问题。通过利用边缘服务器作为中介，可以在附近执行部分模型聚合并减轻核心网络的传输开销，这为低延迟和高能效的FL提供了巨大的潜力。因此，我们介绍了一种新颖的分层联合边缘学习（HFEL）框架，其中模型聚合从云中部分迁移到了边缘服务器。我们进一步在HFEL框架下为设备用户制定了联合计算和通信资源分配以及边缘关联问题，以实现全球成本最小化。为了解决该问题，我们在HFEL框架中提出了一种有效的资源调度算法。它可以分解为两个子问题：为每个边缘服务器安排一组预定的设备进行资源分配，以及跨所有边缘服务器的设备用户进行边缘关联。利用针对单个边缘服务器下的一组设备的凸资源分配子问题的最优策略，可以通过迭代的全局成本降低调整过程来实现有效的边缘关联策略，该策略可收敛至稳定的系统点。广泛的性能评估表明，与传统的联合学习相比，我们的HFEL框架在节省全球成本方面优于建议的基准，并且获得了更好的培训效果。
索引词：资源调度，分层联合边缘学习，成本效率。
一、引言
随着移动和物联网（IoT）设备的大量涌现并生成大量数据[1]，由于大数据和通信技术的改进，机器学习（ML）已见证了高速发展。 -投入能力，促使人工智能（AI）的发展彻底改变了我们的生活[2]。传统的ML框架专注于中央数据处理，这需要分布广泛的移动设备将其本地数据上传到远程云以进行全局模型训练[3]。但是，由于云服务器容易遭受外部攻击和数据泄漏的风险，因此很难利用来自大量用户设备的大量数据。鉴于上述对数据隐私的威胁，许多设备用户都不愿意将其私有原始数据上传到云服务器。
为了解决集中式培训中的数据安全问题，人们广泛地设想了一种分散的ML（称为联合学习（FL））作为一种吸引人的方法[7]。它使移动设备可以协作构建共享模型，同时从外部直接访问本地保留对隐私敏感的数据。在诸如联合平均（FedAvg）之类的流行FL算法中，每个移动设备都使用自己的数据集在本地训练模型，然后将模型参数传输到云以进行全局聚合[8]。 FL具有促进大规模数据收集的巨大潜力，可以以分布式方式实现模型训练。
不幸的是，由于广域网（WAN）中的长传输延迟，在达到令人满意的模型精度之前，FL遭受了通信和能量开销的瓶颈[9]。由于设备的计算和通信能力有限，因此发生了过多的模型传输回合，这在培训时间预算内降低了学习性能。大量的计算和通信迭代需要大量的能量开销，这对于电池电量低的设备来说是一个挑战。此外，由于许多ML模型都是大型的，大量设备用户通过WAN直接与WAN通信会加剧骨干网的拥塞，从而导致显着的WAN通信延迟。为了缓解此类问题，我们利用了移动边缘计算（MEC）的功能，该功能在5G时代被视为有前途的分布式计算范例，可支持许多新兴的智能应用，例如视频流，智能城市和增强现实[10]。 MEC允许将延迟敏感和计算密集型任务从分布式移动设备转移到附近的边缘服务器，从而提供实时响应和高能效[11] – [14]。沿着这一思路，我们提出了一种新颖的分层联合边缘学习（HFEL）框架，在该框架中，通常与基站固定部署的边缘服务器作为移动设备和云之间的中介，可以执行从附近设备发送的本地模型的边缘聚合。当它们每个都达到给定的学习精度时，边缘的更新模型将传输到云以进行全局聚合。直观上，HFEL可以帮助减少通过边缘模型聚合在设备用户和云之间通过WAN传输的大量通信开销。而且，通过邻近的边缘服务器的协调，可以在设备和用户之间更有效地进行通信计算资源之间的分配。它可以有效地减少培训时间并减少能量消耗。
然而，要实现HFEL的巨大优势，我们仍然面临以下挑战：
1）如何解决每个设备的联合计算和通信资源分配以实现训练加速和节能？收敛到预定义精度级别的训练时间是FL最重要的性能指标之一。电池受限设备的能量最小化是MEC的主要关注点[14]。培训时间和精力的最小化都取决于移动设备的计算能力和来自边缘服务器的通信资源分配。由于边缘服务器及其关联设备的资源通常受到限制，因此实现这种优化并非易事。
2）如何将一组适当的设备用户与边缘服务器关联以进行有效的边缘模型聚合？如图1中所示，密集分布的移动设备通常能够与多个边缘服务器进行通信。从边缘服务器的角度来看，最好与尽可能多的移动设备进行通信以进行边缘模型聚合，以提高学习准确性。当更多设备选择与同一边缘服务器进行通信时，每个设备将获得的通信资源更少，这将导致更长的通信延迟。因此，应仔细解决设备的计算和通信资源分配及其边缘关联问题，以在HFEL中实现具有成本效益的学习性能。
作为上述挑战的推动力，本文提出了一种联合计算和通信资源分配以及边缘服务器关联问题，以使HFEL中的全球学习成本最小化。不幸的是，这种优化问题很难解决。因此，我们将原始优化问题分解为两个子问题：
1）资源分配问题；
2）边缘关联问题；
并据此提出了一种有效的HFEL集成调度算法。对于资源分配，给定一组计划将本地模型上传到同一边缘服务器的设备，我们可以解决最佳策略，即，每个设备的贡献计算容量和每个设备从中分配的带宽资源边缘服务器。此外，对于边缘关联，我们可以根据训练组内资源分配的最佳策略，通过降低成本的迭代来为每个边缘服务器制定一套可行的设备（即训练组）。边缘关联过程的迭代最终收敛到一个稳定的系统点，其中每个边缘服务器拥有一组稳定的模型训练设备以实现全局成本效率，并且没有边缘服务器会更改其训练组的形式。
简而言之，我们的工作主要做出以下贡献：
•我们提出了一个分层的联合边缘学习（HFEL）框架，该框架在低延迟和高能效的联合学习中具有巨大的潜力，并制定了一个整体联合计算和通信资源分配以及边缘关联模型，以使全球学习成本最小化。
•我们将具有挑战性的全球成本最小化问题分解为两个子问题：资源分配和边缘关联，并因此设计出一种有效的方法，即HFEL资源调度算法。在给定单个边缘服务器训练组的情况下，利用凸资源分配子问题的最优策略，可以通过降低成本的迭代为每个边缘服务器解决可行的边缘关联策略，从而保证收敛到稳定的系统点。
•大量的数值实验表明，与传统的基于设备云的FL相比，与比较基准相比，我们的HFEL资源调度算法能够在全球成本节省方面实现卓越的性能提升，并具有更好的训练性能。

二、系统模型
三、单边服务器内的最佳资源分配
四、多个边缘服务器的边缘关联
五、绩效评估
在本节中，我们进行仿真以评估：1）所提出的资源调度算法的全局成本节省性能；
2）在测试准确性，训练准确性和训练损失方面的HFEL性能。从设备和边缘服务器的可用性的角度来看，所有设备和边缘服务器都随机分布在整个500M×500M区域内。

六、相关工作
七、总结
与使用原始数据在远程云上进行常规机器学习相比，联合学习（FL）已被提出作为一种有吸引力的方法来处理移动设备的数据安全性问题。为了在低延迟和高能效FL中发挥巨大潜力，我们引入了层次化联合边缘学习（HFEL）框架，其中模型聚合从云中部分迁移到边缘服务器。此外，建立了在HFEL框架下的联合计算和通信资源调度模型，以实现全球成本最小化。然而，为证明最小化问题具有极高的时间复杂性，我们设计了一种有效的资源调度算法，该算法可分解为两个子问题：为每个边缘服务器安排一组预定的设备，进行资源分配，为所有边缘服务器进行边缘关联。通过解决资源分配和边缘关联的降低成本迭代，我们提出的HFEL算法终止于一个稳定的系统点，与基准相比，该系统在降低成本方面实现了可观的性能提升。
最终，与没有边缘服务器作为中介的传统联合学习相比，如我们的仿真结果所示，HFEL框架实现了更高的全局和测试精度以及更低的训练损失。