多云环境中的联邦学习以及边缘资源受限设备的联邦学习

论文的标题是《Federated Learning in Multi Clouds and resources constraint devices at the Edge》，由Vasileios Angelos Stefanidis、Yiannis Verginadis和Gregoris Mentzas三位作者撰写，发表于2024年8月的一次会议上。以下是对论文主要内容的整理：

摘要

• 背景：云计算传统上被用于集中处理边缘产生的数据。现在，趋向于改变这一传统方法，尽可能在边缘处卸载处理任务。
• 主题：论文介绍了分布式机器学习方法——联合学习（Federated Learning, FL），特别强调在多云边缘环境中的应用。
• 方法：论文集中研究了多云环境中的深度学习本地损失函数，并应用了一种增强预测准确性的联邦学习分布式算法。通过在资源受限的边缘环境中应用推理和Tiny Machine Learning方法来增强性能。
• 结果：通过各种数据集的实验结果表明，在大多数情况下，该方法在减少机器学习训练过程中的资源需求（如磁盘和执行时间）的同时，显著提高了时间序列数据的资源消耗预测准确性。

关键词

• 多云（Multi-Cloud）
• 联邦学习（Federated Learning）
• Tiny Machine Learning
• 预测准确性（prediction accuracy）

引言

• 论文讨论了云计算的实际应用案例，以及如何通过边缘设备（如智能手机、传感器等）来增加使用量。
• 预计到2025年，全球数据总量将达到175泽字节，这需要强大且高效的系统来处理数据，尤其是在边缘多云环境中。

系统概述

• 论文描述了FL算法的一般流程，包括梯度下降算法在多云环境中的应用，以及如何通过全局聚合步骤最小化全局损失函数。

A. 联邦学习算法的一般训练流程 (General Flow of Training Part of FL Algorithm)

• 目标：使用梯度下降算法解决在多云提供商和许多边缘节点共存的环境中的联邦学习问题，目标是最小化全局损失函数。

• 全局模型参数更新：通过公式定义了全局模型参数向量 �∗w∗ 作为全局损失函数 �(�)F(w) 达到最小值时的解。

• 全局损失函数：通过所有客户端节点的数据累加计算得出，公式 �(�)=∑�=1�����(�)�F(w)=∑i=1N​DDi​Fi​(w)​ 展示了全局损失函数是如何根据每个客户端的数据量加权求和得到的。

• 客户端本地模型更新：每个客户端节点 �i 根据本地数据集上的局部模型训练误差值更新本地模型参数 ��(�)wi​(t)。

• 全局聚合过程：在每次迭代 �>0t>0 时，客户端节点完成本地模型更新后，中央服务器将执行全局聚合，以进一步优化最终FL模型的参数。

• 客户端选择：与之前工作 [20] 相比，本文的工作不是在每次全局聚合中包含所有客户端节点，而是采用基于数据量和局部损失函数值的动态阈值选择客户端的方法。

B. Tiny ML及训练算法的推理 (Tiny ML and Inference of Trained Algorithm)

• 边缘设备上的推理：讨论了在资源受限的边缘系统上执行推理时的限制，特别是在需要在小型边缘设备或服务器上基于真实数据运行联邦学习算法的推理时。

• TensorFlow Lite Model Optimization Toolkit：提供了一套工具，用于在内存和计算能力受限的情况下，最小化推理优化的复杂性。

• 优化标准：优化后的Tiny ML框架旨在满足小模型尺寸、短预测时间、低资源消耗以及提高预测准确性等标准。

• 推理优化决策树：描述了一个决策树，用于选择优化和量化方案，基于预期的模型尺寸和准确性。

C. 联邦学习算法的总流程 (Total Flow of the FL Algorithm)

• 训练和推理流程：概述了开发的FL多云边缘算法的所有步骤，包括训练和推理部分。

• 系统架构图：提供了一个UML图，展示了Python Keras和Tensorflow包及其接口的主要结构。

 

系统实现

• 论文详细介绍了边缘多云FL系统的软件架构，包括客户端节点的联邦学习模型和服务器-客户端架构。

边缘多云FL系统的通用软件架构 (General Software Architecture of The Edge Multi Cloud FL system)

• 架构描述：论文提出了一个去中心化的多云和边缘FL模型，遵循标准的服务器-客户端架构。该架构部署在多个云服务提供商的节点客户端上。聚合服务器可以位于参与提供商的任何云环境中。每个客户端执行本地处理任务和远程执行任务。最终的推理可能在小型边缘设备或服务器上进行，遵循Tiny ML架构。

• 技术栈：系统算法使用Python实现，利用Tensorflow和Keras包进行学习过程。学习过程从每个客户端节点的本地更新步骤开始，使用长短期记忆算法（LSTM）和梯度下降优化器进行优化。一旦本地节点更新完成，全局聚合服务器就会在云端的远程位置执行全局聚合。随后，基于真实数据的推理将遵循优化过程，并使用Tensorflow Lite包。

• UML图：论文提供了一个UML图，展示了Python Keras和Tensorflow的主要包及其接口。

实验评估

• 论文展示了使用Tiny ML技术在多云边缘FL系统上的实验评估，包括实验环境、基础设施、性能模型准确性和评估方法。

 实验环境和基础设施 (Experimental Environment and Infrastructure)

• 评估：论文对所提出的多云边缘FL系统进行了评估，使用了不同类型的数据集，这些数据集涉及CPU消耗指标，使用了2个或5个客户端节点，以及具有有限资源的边缘虚拟机。

• 数据集：实验使用了与计算流体动力学模拟应用相关的数据集，这些数据集展示了流体流动性数据模型结果，并由ICON公司引入的NebulOuS飞行员项目提供。

• 模拟类型：实验尝试了两类模拟：低保真度（low-fi）和高保真度（hi-fi）。低保真度模拟使用中等图像像素，消耗较少的CPU资源，而高保真度模拟则消耗大量资源，因为它们代表在生产环境中应用的完美像素模拟。

• 基础设施：模拟环境的基础设施完全基于云的docker化。使用的硬件资源指标值为具有4核VCPU、8GB RAM和30GB硬盘的虚拟机。边缘服务器被认为使用相当少的资源。

• 性能模型准确性和评估：每个客户端节点使用CPU消耗指标来计算准确性，使用诸如平均绝对误差（MAE）、均方误差或损失（MSE）、均方根误差（RMSE）、平均绝对百分比误差（MAPE）和对称平均绝对百分比误差（SMAPE）等指标，以概述每种数据类型案例和FL集群系统中数据架构分布的准确性。

• 优化技术：论文指出，通过在训练模型上使用推理优化技术，可以在资源高效使用和更好的预测准确性方面取得成果，与之前的作品（如[17]）相比有所改进。

• 结果对比：论文提供了详细的表格来展示优化前后的模型在不同客户端节点情况下的性能对比，包括使用Tiny ML技术和不同量化选项的结果。

相关工作

• 论文回顾了与多云系统中的FL机制相关的研究工作，并将其与当前工作进行了比较。

结论

• 论文总结了FL方法的创新之处，特别是在使用Tiny ML TF Lite推理模型时，能够在不降低预测准确性的情况下，实现模型尺寸和延迟的优化。

致谢

• 论文感谢了欧盟Horizon 2020研究和创新计划对NebulOuS项目的资助。

参考文献

• 论文列出了相关的参考文献，涵盖了云计算、FL、Tiny ML、安全威胁、隐私保护、异步FL机制等领域的研究。

论文的核心贡献在于提出了一种新的FL模型，该模型结合了Tiny ML技术，能够在资源受限的边缘环境中实现高效的数据处理和准确的预测，同时解决了传统集中式数据处理方法所面临的问题。