边缘-云在AIGC领域的应用与发展

什么是AIGC

  AIGC（AI-Generated Content，AI生成内容）是指基于生成对抗网络（GAN）、CLIP、Transformer、Diffusion、预训练模型、多模态技术、生成算法等技术方法，通过对已有数据进行学习和模式识别，以适当的泛化能力生成相关内容的技术。
  AIGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习，AIGC可以根据输入的条件或指导，生成与之相关的内容。
  AIGC在多个领域都有应用，如图像生成、文本生成、音频生成等。例如，在图像生成方面，生成式对抗网络可以学习大量真实图像数据的分布特征，并生成具有相似特征的新图像。在文本生成方面，生成式人工智能可以学习文本数据的语义和语法结构，并生成具有连贯性和多样性的新文本。现在爆火的ChatGPT就是AIGC在聊天对话场景中的一个具体应用。

AIGC在移动边缘网络中的生命周期

1. 数据收集(data collection)
2. 预训练(pre-training)
   大规模的生成AI模型在预训练阶段需要大量的计算资源，其适合放置在云上训练。
3. 微调(fine-tuning)
   移动网络中，可以在边缘网络中使用移动用户上载的小型数据集进行微调。
4. 推理(inference)
   模型训练好后，就可以进行推理问答了。边缘服务器具有足够的资源完成推理任务。
5. 产品管理(product management)

联合云-边-端架构的移动AIGC网络

移动AIGC网络的实现

  AIGC服务需要大量的计算和存储资源，为了降低服务时延，可以通过云-边-移动设备的联合计算架构来提供AIGC服务。这将涉及到资源分配、任务卸载、数据缓存、移动管理等挑战。

edge resource allocation

  AIGC用户向边缘设备放发送请求，边缘设备收到请求后执行AIGC任务，并将结果返回给用户。在该过程中，需要考虑以下几点：

1. 模型的准确率
   对于资源有限的边缘服务器来说，在有限的资源下，需要通过优化来提高模型的准确率。
2. 带宽利用率
   在提供AIGC服务时，在高密度的边缘网络中，边缘服务器必须尽可能最大化信道的利用率，有效分配带宽资源，控制信道的接入，以最大化服务的质量。
3. 资源消耗
   资源的消耗有两个方面：一是AIGC服务的部署，二是AIGC服务的执行，包括多次迭代生成准确值。

  在资源受限的边缘计算网络中，如何平衡模型的准确率和资源消耗是一项挑战。对于时间敏感型的任务，可以通过降低模型的准确率换得任务的低时延或低资源消耗，另一种思路是使用迁移学习，在新的数据上训练已有模型，能够在保持准确率的同时减少计算资源的消耗。或者采用模型压缩技术，降低模型复杂度。
  在移动边缘侧提供智能服务应用时，需要考虑模型准确率、网络、通信、计算资源等之间的关系。以及由于网络的动态变化和用户需求的变化造成的不可预测性。
  在变化的移动边缘网络中，生成AI模型需要根据新生成的数据和动态的请求进行频繁的微调和重复训练。由于边缘服务器的资源受限，AI服务的放置需要进行优化，该问题被建模为混合整数非线性规划(MINLP)问题进行求解。当放置的AI服务和模型较多时，可以对模型和服务进行分级，不同等级的模型服务对应不同等级的服务质量。
  在移动AIGC网络中提供AIGC服务时，通常会将大的生成AI模型分解成许多小的模型在本地执行。与此同时，由于模型的分布式和最终结果聚合造成了时延增加的问题。

  下表为一些资源分配的解决方案：

task and computation offloading

  由于移动设备资源的有限性，可将AI模型卸载到靠近用户的边缘服务器上运行，以获得低时延。在进行卸载时，需要考虑以下几个方面：

1. 服务时延：将模型的微调、推理等任务卸载到边缘服务器上能够减少计算执行时延，但同时也增加了传输时延。
2. 可靠性：可靠性评估用户准确获得个人数据的成功率。由于无线信道的动态变化用户可能会在上载数据到边缘服务器或者从边缘服务器上下载结果时增加时延。对于内容生成型的AI模型而言，不同用户的数据不同（定制化特性），错误的内容感知将会影响AIGC网络的可靠性。

  为有效联合云边进行生成Ai模型的微调和训练，常常使用联邦学习(FL)和分布式学习的方法，允许边缘服务器在本地训练模型，训练好后将更新的权重发送到云中心进行聚合。

  影响边端联合卸载的因素有：
用户的计算续期、时延需求、服务种类、用户特征；边缘服务器的计算资源、网络带宽资源等。

  下表为一些任务卸载的解决方案：

edge caching

  将AI模型缓存在边和端，用户就可以不通过云直接获取到AIGC服务。与传统内容分发网络的数据缓存不同，生成AI模型的缓存需要收集用户历史请求和策略取提供个性化服务。在进行缓存时，需要考虑以下几个方面：

1. 模型获取时延：模型获取时延时衡量AIGC服务质量的一个重要指标。在端侧的模型获取时延是最低的，在边缘侧的时延包括了无线通信的时延，在云上的时延则是最高的。
2. 回程流量负载：当生成AI模型缓存在移动边缘网络中时，请求和计算结果不用返回给云，从而减少了回程流量夫负载。
3. 模型命中率：模型命中率是衡量生成AI模型进行边缘缓存的重要指标。它可用于未来模型退出和模型替换期间的加载。

  对于生成AI模型的数据缓存，有以下几点挑战：

• 资源受限：边缘服务器的资源如GPU内存等是有限的，将所有的生成AI模型卸载到一个边缘服务器上是不可行的。
• 模型未命中损失：当移动用户请求AIGC服务时，若当前边缘服务器未能缓存相应的服务，那么就产生了模型未命中问题。此时，边缘服务器需要向云中心发送请求下载模型，这样则增加了额外的带宽和时延。
• 功能等价模型：随着任务不断细分，生成AI模型的数量不断增加。对于同一功能，可能会有不同结构和计算需求的AI模型。

  随着AI服务能力的扩展，多个模型需要同时被部署到边缘来实现多样任务。在AIGC网络中，多个基础模型需要共同工作生成大量的多模态合成数据，那么对于拥有有限GPU内存的边缘服务器来说，如何支持多个模型的缓存将是一个问题。

  在移动AIGC网络中，不仅需要缓存生成AI模型，还需要缓存AIGC请求和结果来降低服务请求的延迟。
  在边缘智能的无服务计算中，移动设备可以直接在边缘服务器调用AIGC服务函数，相比于基于虚拟机的AIGC服务能够更加高效利用资源。但是，在边缘服务器上进行函数代码和数据的初始化时会遭遇冷启动问题，执行函数前的获取、依赖库的预调用等都会带来时间的消耗。而将常常保持活跃的函数缓存在边缘服务器中，在服务器缓存利用率和冷启动开销之间进行权衡，无疑能够较好地解决这个问题。
  大规模的生成AI模型在训练、微调和推理的过程中，能够将它们划分为易管理和接入的计算函数。像联邦学习模型可以缓存在边缘服务器中，以便满足用户对于个人隐私安全的需求。

  下表为一些数据缓存的解决方案：

mobility management

  在车联网(Internet of Vehicles)和无人机(Unmanned Aerial Vehicle)网络中，边缘智能依靠移动管理来提供AIGC服务。
  在无人机中部署AIGC服务，具有易部署、灵活性和覆盖范围广、低时延、高可靠性等优点，对于无法设置边缘服务器的偏远地区，无人机能够填补这一空缺，实现边缘智能的全覆盖，如图所示。

  在AIGC网络的移动管理中，需要考虑以下几个方面：

• 任务完成率：用户的可移动性使得基站必须在用户离开前完成任务。使用任务完成率来衡量移动管理的有效性。
• 覆盖增强：对于无人机和车辆来说，它们能被视为可重配置的基站，为生成AI模型和内容的用户随时随地提供AIGC服务。

   在无人机使能的边缘智能中，无人机能够作为空中的无线基站、边缘计算服务器和边缘缓存提供者。UAV使能的联邦学习在保护用户隐私性方面是个很好的例子，如何在UAV中采用适应调度机制进行计算和缓存服务的灵活切换将是一个问题。

  下表为一些移动管理的解决方案：

未来研究挑战

1. 网络和计算
2. 机器学习
   主要是模型压缩技术，有参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式这 7 个方面，具体可参见https://zhuanlan.zhihu.com/p/358159347
   等等

——————————————————————————
参考文献or资料：
【1】Minrui Xu, Hongyang Du, Dusit Niyato, Jiawen Kang, Zehui Xiong, Shiwen Mao, Zhu Han, Abbas Jamalipour, Dong In Kim, Xuemin Shen, Victor C. M. Leung, H. Vincent Poor:Unleashing the Power of Edge-Cloud Generative AI in Mobile Networks: A Survey of AIGC Services. CoRR abs/2303.16129 (2023)
【2】https://www.51cto.com/article/772191.html
【3】https://zhuanlan.zhihu.com/p/358159347