LAMBO：AI大模型赋能边缘智能-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/144728484

论文地址：https://ieeexplore.ieee.org/abstract/document/10726905（查看全文请点击阅读原文链接）

下一代边缘智能有望通过卸载技术使各种应用受益。然而，传统的卸载架构面临着许多问题，包括异构约束、局部感知、不确定泛化和缺乏可追踪性。因此，本文提出了一个基于大型人工智能模型的卸载 (LAMBO) 框架，该框架拥有超过十亿个参数来解决这些问题。该框架首先使用输入嵌入 (IE) 来实现具有异构约束和任务提示的规范化特征表示。然后，引入一种新颖的非对称编码器-解码器 (AED) 作为决策模型，这是一种改进的Transformer架构，由用于全局感知和决策的深度编码器和浅层解码器组成。接着，使用Actor-Critic学习 (ACL) 在相应的提示下对 AED 进行不同优化任务的预训练，增强 AED 在多任务场景中的泛化能力。最后，提出一种从专家反馈中主动学习 (ALEF) 的方法来微调 AED 的解码器，以跟踪动态环境中的变化。仿真结果验证了所提出的 LAMBO 框架的优势。

1. 引言

多接入边缘计算 (MEC) 已被用于通过无线网络高效、低延迟地卸载移动设备上的计算任务 [1]。将人工智能 (AI)（例如深度学习）与边缘计算相结合，催生了边缘智能这一新兴概念 [2]。

最近，大型人工智能模型（LAMs）被提出作为一种新型智能范式，使得拥有数千亿参数的人工智能模型能够实现前所未有的通用智能。将LAM的自适应学习和决策能力推向网络边缘，可以为用户提供强大的个性化智能服务，同时保护数据隐私。人们相信，LAM与边缘计算的结合可以从以下几个方面形成下一代边缘智能的基础：LAM服务于边缘以及边缘服务于LAM。

一方面，LAM服务于边缘指的是利用LAM为边缘计算提供更多数据和智能解决方案，包括管理和调度边缘资源，以及分配和协调边缘任务。这种方法提升了边缘智能系统的效率、性能、可靠性和可扩展性。传统的边缘计算优化方案面临着边缘环境的动态性和不确定性、边缘系统的多样性和分布性，以及边缘优化问题的高难度和复杂性等挑战。LAM可以在更广泛的数据集上进行广泛预训练，展现出对动态和多样化任务更强的泛化能力。此外，LAM以数千亿参数的优势，在复杂优化问题的逻辑分析和决策制定上超越了传统深度学习方法。

另一方面，边缘服务于LAM则专注于LAM在边缘的训练和执行。这种方法增强了数据隐私和安全性，减少了数据传输中的延迟和通信开销，并提供个性化的应用场景和服务。传统的AI模型在边缘系统上的训练和执行面临着边缘设备的不稳定性和异构性，以及边缘数据的不公平性和非均匀分布等挑战。LAM可以通过少量参数的微调高效学习边缘的个性化数据，从而降低对计算资源的需求。此外，LAM还具备强大的数据表示和容错能力，减少了由于低质量和非均匀边缘数据引起的决策错误和偏差。

基于上述背景，本文从卸载系统的角度，重点探讨了LAM如何赋能边缘智能。首先介绍传统的深度卸载架构及其面临的主要挑战，然后介绍LAM的关键技术及其应用于边缘智能系统的优势。接下来，提出了一个拥有约10亿个参数的LAMBO框架，用于实现高质量的任务卸载和资源调度，并针对不同的任务。此外，在LAM中使用“提示词”来有效地管理和控制LAMBO，使其能够通过自然语言指令完成精确的任务。具体来说，提示被分配为针对不同任务的两个指令（“最小延迟”和“最小能量”）。本文的贡献总结如下：

高质量表示：引入一种输入嵌入 (IE) 方法，旨在将各种类型的输入（例如具有异构约束的卸载系统的状态信息和针对不同任务的指令）转换为高质量的特征嵌入，同时确保它们的规范化。
卓越的性能：开发了一种由深度编码器和浅层解码器组成的非对称编码器-解码器 (AED) 架构，用于对决策过程进行建模并从全局视角做出出色的卸载决策。
强大的泛化能力：利用Actor-Critic学习 (ACL) 对 AED 进行预训练。具体来说，通过为各种优化任务生成大量未标记的实例，然后将其输入 AED 进行广泛的训练，以增强跨多个任务的泛化能力。
高效的可处理性：利用基于专家反馈 (ALEF) 的主动学习来微调 AED 的解码器，同时保持编码器冻结。这种方法有助于有效跟踪环境变化。

本文的其余部分组织如下。下一节将介绍传统的深度卸载架构及其挑战。随后介绍 MEC 系统的 LAM 的关键技术和优势。然后介绍所提出的 LAMBO 框架的详细设计。接着给出仿真结果并讨论未解决的问题。最后一节得出结论。

2. 传统深度任务卸载架构和挑战

2.1 传统深度任务卸载架构

用于卸载决策和资源分配负担的传统优化算法可能需要通过穷举搜索、分支定界或基于凸优化的技术来解决高度复杂的混合整数非线性规划 (MINLP) 问题，这些技术可能复杂度高、效率低，并且不适合动态环境。

深度卸载架构已被提出用于智能卸载决策过程。这些架构应用深度学习方法（例如，CNN [5]、RNN [6] 和 DNN [7]）与强化学习 [8] ，从 MEC 系统中提取有用信息并学习知识，并在无人干预的情况下自主解决卸载问题。传统的 MEC 系统卸载架构包括三个模块，如图 1 最上部所示，并描述如下 [5–9]。

图1 深度任务卸载架构与LAMBO架构

数据收集和预处理：对于在MEC系统中使用DL的传统任务卸载模型来说，数据收集是至关重要的一步。环境数据，如感知、任务和网络信息，可以作为训练数据连续收集。数据预处理解决方案对于丢弃或优化异常、不完整或重复的数据是必要的。此外，当训练数据量不足时，可以应用数据增强方法来生成用于任务卸载模型的更多数据。
卸载模型选择：CNN和RNN是MEC系统中用于各种任务的两种常见神经网络架构。CNN通常用于网格数据结构，例如移动的边缘节点的路径规划和卸载决策。相比之下，RNN通常被设计用于解决时间序列预测任务，例如在动态环境中的连续任务卸载决策。
模型训练和部署：根据边缘智能系统中的具体任务，可以为卸载模型选择适当的学习方法。当有足够的标记数据时，可以采用监督学习。但是，当任务的数据分布、规模、质量和隐私是可变的或未知的时，强化学习成为首选的训练方法。这种方法利用来自环境的观察和反馈来不断更新模型，促进实时学习和决策。

2.2 研究挑战

尽管传统的深度任务卸载架构可以解决MEC系统中的任务卸载问题，但是仍然存在一些挑战：

异构设备约束：边缘系统旨在适应具有不同要求和约束的高度异构环境。此外，不同的边缘节点可能拥有不同数量的计算和通信资源，从而导致对卸载决策和资源分配的不同要求。然而，传统的深度卸载架构是端到端学习系统，不具有处理这些不同要求和约束的专用组件。
**局部感知：**用于卸载决策制定的信息可能来自由传感器获得的大量数据，并且不同种类的传感数据可能具有高维特征。传感器与边缘节点之间的信道质量可能影响用户与边缘服务器的卸载决策，这会导致具有巨大特征空间的优化问题。另外，CNN和RNN并不擅长在特征之间建立长距离依赖关系，这在大特征空间中会产生局部感知优化的问题，从而导致局部最优卸载决策。
不确定泛化：泛化意味着DL模型在不同的任务中具有一致的推理性能。实际上，某些卸载任务可能具有关键的优化目标（例如，时间敏感或能量敏感），需要快速响应，对训练时间提出了严格的要求。这对当前通常只有一个优化目标的深度任务卸载架构提出了挑战，突出了在无需重复训练的情况下对不同卸载任务具有强大泛化能力的需要。
缺乏可追踪性：边缘智能系统可能部署在动态环境中。很难确保训练过程足够通用，以捕捉现实世界场景中遇到的输入特征的整个分布，尤其是当特征空间是动态的时候。因此，卸载模型必须自适应地从动态场景中学习并跟踪边缘智能系统中随时间变化的数据（例如，网络拓扑和信道增益）。虽然强化学习经常用于动态环境中的在线决策，但它在大规模动态环境和多任务动态环境中存在学习效率低和灾难性遗忘的问题。

3. 边缘智能系统中LAM的关键技术和优势

3.1 关键技术

本小节总结了 LAM 在边缘智能系统中应用的几种关键技术。

提示和嵌入：提示和嵌入是 LAM 中用于执行外部指令和信息预处理任务的关键技术。它们在 LAM 中有效地整合和处理这些外部输入方面发挥着至关重要的作用，如下所示 [10]。

• Token嵌入：Token嵌入表示输入文本中的单个标记，如单词或子单词。每个标记都由学习到的嵌入来表示，该嵌入可捕捉单词或子词的词义。在 MEC 系统中，环境信息（例如，每个 UE 的 CSI）和任务信息（例如，每个任务所需的数据大小和计算资源）可作为每个 UE 的Token嵌入进行编码。

• 提示Prompt：提示是提供给 LAM 的指令或指南，用于执行特定任务或基于自然语言生成所需输出。在 MEC 系统中，提示可以作为区分不同优化任务的指令，例如最小化能耗或系统延迟。例如，当输入最小化延迟指令时，LAM 可以理解指令的语义含义并生成与最小化延迟目标一致的任务卸载和资源调度结果。

Transformer模型：Transformer 是 Google 提出的一种新型深度学习架构 [11]。其关键创新是注意力机制，这使得模型能够比传统方法更有效地捕获序列中输入之间的全局依赖关系。以下是 Transformer 的结构及其在 MEC 系统中的潜在应用。

• 编码器-解码器模型：编码器-解码器模型是由Transformer架构中独立的编码器和解码器组件组成。编码器处理输入序列，并为每个标记生成上下文表示。然后，解码器获取这些表示，生成输出序列。在MEC系统中，所有UE的环境和任务信息都作为输入，编码器可以有效地捕获输入嵌入中的系统信息，而解码器则依次生成准确的卸载决策。

两阶段训练：LAM 使用监督或无监督学习在大量文本数据上对 Transformer 进行预训练，然后在特定的下游任务上对预训练的 Transformer 进行微调。下面概述了两阶段训练的技术细节和潜在应用：

• 预训练：预训练是 LAM 的初始训练阶段，通常采用监督或自监督学习技术，使模型能够从大量数据中捕获统计模式、关系和上下文依赖关系 [12]。然而，在 MEC 系统中，收集大量监督数据可能成本高昂。因此，对于 MEC 系统，可以考虑采用超越监督和自监督学习的替代预训练方法。

• 微调：微调是 LAM 的第二个训练阶段，重点是针对特定数据集或任务调整预训练 LAM 的参数 [13]。这种方法旨在增强模型的泛化能力，同时根据用户偏好或任务要求控制其行为。在微调过程中，使用与目标任务特别相关的较小数据集来细化 LAM。在 MEC 系统中，可以使用微调来指导 LAM模型跟踪不断变化的通信环境。

3.2 在边缘智能系统中应用LAM的优势

基于上一节中介绍的 LAM 关键技术，可以概述在卸载系统中应用 LAM 的以下优势：

异构约束的高质量表征：有效的卸载和资源调度需要对 MEC 系统进行精确建模。然而，大量边缘节点的不同要求和异构约束使得建模变得困难。LAM 通过一个额外的嵌入层来处理这个问题，使其有能力处理所有要求和约束，然后建立极其复杂的内部表示。这个嵌入层对于在 LAM中准确模拟复杂的 MEC 系统至关重要。
出色的卸载决策能力：LAM 能够自主地从 MEC 系统进行特征提取和自适应学习。与小规模模型（例如 CNN 和 RNN）相比，LAM 通常表现出卓越的推理准确性。通过 Transformer 模型中的多头自注意力机制，LAM 可以在充足的特征空间中建立输入信息之间的不同尺度的依赖关系。因此，它们可以发现更细微的特征关系，进而有助于出色的卸载决策和资源分配。
针对不同任务的卓越泛化能力：通过利用来自多个来源的广泛数据集，LAM能够在多种任务上获取全面的知识，增强其学习和泛化能力，从而有效地建模多样化的优化目标。通过在预训练期间使用提示，LAM可以学习不同的优化任务，并在无需重新训练的情况下精确执行特定功能。这种多样性使LAM在应对各种优化问题时具有高度的适应性和价值。
动态环境中的高效可操作性：LAM能够高效利用并行计算资源，包括分布式系统和专用硬件加速器，如图形处理单元（GPU）或张量处理单元（TPU）。这使得它们能够快速进行边缘计算服务的微调。通过自适应微调， LAMs中的预训练知识可以应对动态环境，大幅提升MEC系统中卸载决策和资源分配的鲁棒性。

4. LAMBO框架

本节将介绍LAMBO框架，包括四个组件：IE、AED、ACRL和ALEF，如图1底部所示。

4.1 算法概述

在 LAMBO 框架中，首先使用 IE 从 MEC 系统生成嵌入。然后，提出一种新颖的 AED 模型来解决卸载和资源分配问题。AED 模型包括一个深度编码器和一个浅层解码器。编码器用于提取所有 UE 的自注意力特征。这些自注意力特征与 MEC 嵌入和提示嵌入一起输入到解码器中，解码器依次为每个 UE 生成最佳卸载决策和资源分配，确保它们符合整个系统的约束条件。

此外，本文分两个阶段训练 AED 模型：预训练和微调。在预训练阶段，使用 ACRL 训练 AED 模型。ACRL 采用双头结构来提高性能。然后，在微调阶段，提出一种 ALEF 方法，它可以跟踪环境变化，利用信息熵检测异常数据，并根据专家反馈标记有价值的环境数据。接下来将详细介绍每个组件。

4.2 IE

在图2中，IE将MEC系统的输入信息作为嵌入，具体如下：

•  UE嵌入：表示每个UE的环境（例如，CSI）和任务（例如，计算和通信资源需求）信息。

•  提示嵌入：表示具有优化目标的不同任务的指令，例如最小化能耗或系统延迟。

•  MEC嵌入：表示边缘服务器的剩余资源限制，这些限制会随着每个 UE 的资源分配决策而动态更新。

首先，将文本提示进行数字化特征表示。然后，将所有信息（UE、MEC 和提示）标准化，并将它们输入到 IE 中，这是一个可学习的隐藏层，从结构上可以将各种输入信息映射到注意力模型的固定长度向量（嵌入）。

4.3 AED

AED 模型包含一个具有多个编码器层的深度编码器，能够有效地从输入嵌入中进行学习。此外，它还包含一个具有单个解码器层的浅层解码器，允许按顺序生成卸载决策并为每个 UE 分配资源。AED 中的编码器和解码器的结构如图 2 所示。

图2 IE和AED的结构

1) 深度编码器：每个编码器层通常具有以下子组件：

自注意力子层：此子层允许模型同时关注嵌入输入序列的不同部分，捕获嵌入之间的依赖关系和关系。
前馈子层：此子层将前馈神经网络变换独立应用于每个嵌入，允许将非线性变换应用于输入序列。
残差和规范化子层：在每个自注意力子层和前馈子层之后，应用残差连接并应用规范化以在特征维度上规范化激活。

2) 浅层解码器：解码器层通常具有以下子组件：

自注意力子层：此子层遵循与编码器中使用的类似结构，并且残差连接和层规范化也应用于所有子层。
编码器-解码器注意力子层：行此子层关注编码器的输出特征，允许解码器与来自输入的相关特征进行注意力计算。
线性投影和双头输出：在解码器的最后一层之后，输出表示通过线性变换投影到输出大小。然后应用双头输出层来有效地解决不同优化问题，例如 MINLP，其中分类头引入 softmax 函数来生成卸载决策，回归头引入 sigmoid 函数来优化分配的资源。

采用非对称结构的优势在于能够在微调阶段仅调整浅层解码器的参数，从而促进 LAMBO 的快速学习。

4.4 预训练：ACRL

在第一个训练阶段使用ACRL来预训练AED。预训练过程详述如下，如图3所示：

1) 状态、动作和奖励定义：在MEC系统中，将状态定义为MEC嵌入、Prompt嵌入和UE嵌入。动作指的是针对当前UE的卸载决策和资源分配。每个行动的奖励对应于MEC系统中当前Prompt对应的优化任务或目标。

2) Actor和Critic网络设计：Critic网络用于预测奖励近似值，并且采用双头结构分别输出用于卸载决策和资源分配的Q值[12]。这增强了Critic网络的稳定性和性能。AED模型作为Actor网络，并使用策略熵损失[13]来提升Actor网络的探索能力。

3) 训练迭代和策略更新：设置适当参数，例如学习率，以促进训练过程。然后，开始迭代训练过程，直到Actor和Critic网络收敛。

图3 ACRL的工作流程

4.5 微调：ALEF

由于网络拓扑结构和 CSI 都是随时间变化的，因此在第二个微调阶段引入ALEF，以较少的标注训练实例主动跟踪环境的变化。如图 4 所示，微调过程详述如下：

1) 在线卸载决策：预先训练的 AED 模型用于下游任务。在此步骤中，编码器参数被冻结，并且使用具有少量参数的轻量级解码器有效地对从在现实场景中运行的 MEC 系统中采样的未标记实例做出卸载决策。

2) 最大熵查询：引入基于卸载决策的查询策略，以确定动态环境中实例的重要性，并选择能为解码器带来最高性能增益的实例。选择具有最大熵的实例是因为它反映了卸载决策的最大不确定性[14]。

3) 专家指派和解码器更新：“专家”是用于改进所选实例的特定算法。例如，混合整数规划求解器（例如 CPLEX）、启发式算法（例如差分进化 (DE)）和策略优化算法（例如策略梯度 (PG)、soft Actor-Critic）。最后，专家根据所选实例更新轻量级解码器，以跟踪变化的环境。

图4 ALEF的工作流程

5. 仿真结果

5.1 问题描述

考虑一个标准的MEC系统，由多个边缘服务器和UEs组成。每个UE具有单个计算密集型任务并遵循二进制卸载策略。与传统的深度任务卸载架构不同，所提出的架构能够基于提示同时为不同的优化任务做出卸载决策，而无需重新训练模型。为了验证提示Prompt的有效性，为所考虑的MEC系统定义了两个不同的优化任务，其中的提示模板及其含义如下：

• 最小{延迟}：通过最小化每个 UE 的平均延迟来优化用户关联和资源分配。延迟由远程任务或本地执行延迟的传输延迟和执行延迟组成 [15]。

• 最小{能量}：优化用户关联和资源分配以最小化所有 UE 的总能耗。能耗包括远程任务的传输能量和本地执行能量 [15]。

优化问题必须满足约束：每个任务的最大延迟约束；每个边缘服务器中的最大资源可用性；所有任务都可以在 UE 本地执行，也可以在单个边缘服务器上执行。

5.2 仿真设置

为评估所提出的框架的性能，设置个场景如下：在50 m×50 m的正方形区域内有 4 台 MEC 服务器和 50 个 UEs。所有边缘服务器和 UE 都随机分布在该区域内，UE 的最大速度为 1.2 米/秒。CSI 已经封装了 UE 和边缘服务器之间的空间关系和信道衰落关系，它是根据我们之前的工作 [7] 计算得出的。每个 MEC 服务器的最大计算资源分别为1.5×1010、1.5×1010、3×1010和5×1010周期/秒。对于每个 UE，平均数据大小和任务所需的相应计算资源分别为2×108 kB和1×1010次/秒。发射功率和本地执行功率均设为 1W。

5.3 对比方法

为体现所提出的LAMBO框架的优势，将其与以下竞争者进行了比较：

• Local：所有任务都在本地执行。

• Random：所有任务在UE或一个MEC上随机执行。

• DE：卸载决策和资源分配通过DE算法进行优化[15]。

• DROO：通过强化学习的传统深度卸载架构优化卸载决策 [8]。DROO 中的代理包含 60 个完全连接的 FC 层。代理中的参数总数为 326,662。

• ARE：通过监督学习的传统深度卸载架构优化卸载决策 [7]。ARE 中的 DNN 包含 60 个 FC 层。DNN 模型中的参数总数为 326,662。

• LAMBO_M：使用中等规模的 AED 模型来优化卸载决策。在 LAMBO_M 中，编码器包含 60 个编码器层，解码器包含 6 个解码器层。LAMBO_M 中的参数总数为 579,920,902。

• LAMBO_L：使用大规模的 AED 模型来优化卸载决策。在 LAMBO_M 中，编码器包含 120 个编码器层，解码器包含 12 个解码器层。卸载决策和资源分配通过具有113,725,446个参数的大规模AED模型进行优化。

图5 不同方案在任务延迟方面的比较

图6 不同方案的能耗比较

5.4 评估结果

本文使用两个提示来评估所提出的 LAMBO。图 5 显示了所有最小延迟提示竞争者的模拟结果，其中 y 轴表示每个 UE 的平均延迟。可以看到 LAMBO_L 实现了最低延迟，而 DE 表现排名第三，紧随 LAMBO_M 之后。

图 6 中可以对最小能量提示进行类似的观察，其中 y 轴表示所有 UE 的总能耗。从结果可以推断，与其他方案相比，AED 表现出了卓越的学习能力，从而提高了卸载决策的准确性。此外，随着参数数量的增加，所有提示的学习能力都会提高，这表明与 ARE 和 DROO 等传统卸载方法相比，LAMBO 有更大的潜力解决 MEC 系统中的各种挑战。其次，与 LAMBO_L 相比，LAMBO_M 模型的性能始终落后。这可以归因于 LAMBO_L 具有更多参数，因此具有更强的学习和决策能力。

6. 开放性问题和未来方向

1) 有限的内存和存储：与云中心相比，边缘服务器和基站、汽车和物联网设备等设备的 RAM 和闪存要少得多。这限制了可以部署的最大模型大小。LAM 很容易超过 50 GB，这在某些边缘服务器和设备上无法容纳。未来的研究有必要进一步探索稀疏注意力、量化和蒸馏等压缩技术，因为它们提供了有价值的方法来减小模型大小并最大限度地降低存储要求。

2) 有限的计算能力：与用于训练 LAM 的强大 GPU 相比，边缘服务器和设备的 CPU 或微控制器相对简单。推理所需的计算会给边缘处理器带来沉重的负担。这会导致响应时间变慢和电池/电量消耗高。针对边缘设备量身定制的优化推理引擎（例如多查询注意力和潜在一致性模型）是未来的重要研究方向。

3) 高昂的通信开销：边缘设备面临带宽限制，阻碍了它们处理高数据吞吐量的能力。这导致 LAM 出现传输瓶颈和效率低下。边缘环境中不稳定的连接增加了复杂性，导致通信中断和数据不一致。对语义通信系统等新型通信范式的研究有可能为未来减少边缘 LAM 的通信开销提供创新解决方案。

7. 结论

本文研究了一种基于 LAM 的 MEC 系统卸载框架。首先，本文总结了传统深度卸载架构的主要挑战，然后描述了 LAM 的关键技术以及在 MEC 系统中应用 LAM 的优势。接下来，提出了用于 MEC 系统的 LAMBO 框架，其中使用 IE 来表示具有约束和提示的系统信息，提出 AED 来建模卸载决策过程，引入 ACL 来为不同任务预训练 AED，并使用 ALEF 对 AED 的解码器进行微调以跟踪动态环境。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述