将大语言模型推向6G边缘

1. 大语言模型的杀手级应用

大型语言模型（LLMs）可以直接应用或微调各类具体任务。本节重点关注两个关键任务用例：医疗保健和机器人控制，以展示在移动边缘部署LLMs的必要性。

1.1 医疗保健

医疗保健被广泛认为是LLMs的一个关键应用。与传统的AI模型相比，LLMs展现了卓越的泛化能力，能够更有效地与患者、护理人员和医疗专业人员互动。例如，Google的Med-PaLM 2是一个在医疗数据集上微调的LLM，能够为医疗查询提供高质量的答案。Med-PaLM 2在美国医师执照考试中超过了合格线，并取得了86.5%的准确率。实际上，借助多模态输入和输出，LLMs可以作为AI医疗通用助手，向用户提供各种医疗服务，从聊天机器人到诊断再到早期预警。设想每个人都能拥有自己的个人健康AI专家，持续监测他们的健康状况并提供及时的建议，这将具备非常大的应用潜力。然而，大规模的多模态数据传输可能对基于云的医疗LLM部署构成很多挑战。更重要的是，基于云的集中式训练或推理在收集医疗领域数据时面临重大挑战，因为隐私问题和数据法规需要保护隐私的分布式学习，例如联邦学习和分割学习，以在边缘训练/部署模型。

1.2 机器人控制

凭借卓越的泛化和推理能力，LLMs使机器人能够理解人类的意图/情感或复杂的环境，并相应地计划连续的机器人操作。例如，Google的PALM-E由预训练的LLM（即PALM）改编而成，能够直接摄取机器人传感器数据流，使机器人能够进行具身推理并将复杂任务（例如，按照PALM-E展示的制作蛋糕糊的步骤）分解为可执行步骤。然而，对于机器人应用来说，集中式模型训练不仅涉及大量视频流上传，可能会使回程/主干网络不堪重负，还涉及与人类日常活动相关的敏感互动数据，这带来了重大隐私威胁。此外，由于人机互动和机器人操作在各种任务（例如，老年人/儿童护理，如防止孩子受伤或中毒）中必须以低延迟进行，LLMs应放置在网络边缘，以促进实时的机器人控制。所有这些观察结果强调了在网络边缘部署LLMs的重要性，以解决带宽、延迟和隐私问题。

2. 在6G边缘部署LLMs的挑战

虽然将LLMs部署在网络边缘有迫切需求，但这些模型的巨大规模对移动边缘计算提出了重大挑战。

第一个挑战来自通信成本和延迟。LLMs在推理和训练过程中需要大量的通信资源，而蜂窝网络本身具有带宽限制。例如，通过100Mbps的信道（5G中用户体验的数据速率）传输一个约5.8 GB的中型LLM GPT2-XL需要大约470秒，这意味着无论是用于消费者使用还是分布式学习（例如联邦学习），传输LLMs都可能非常耗时且带宽密集。

第二个挑战源于极高的计算能力需求。GPT-3模型具有1750亿个参数，即使在最先进的技术（8个A100 GPU）上运行，分析一个512个token的句子并生成一个32个token的句子也需要大约1.7秒。边缘设备和服务器通常具有有限的计算资源。如果没有精心设计，在边缘运行LLMs可能会导致不可接受的延迟和过高的能耗。

第三个挑战是存储和内存空间。例如，以16位精度对一个具有650亿参数的LLM进行全参数微调需要780GB的内存，而高配版商用GPU H100只有80GB内存。这一内存需求在训练LLMs时是一个重大障碍。关于存储，GPT-3模型在32位精度下的大小为700GB。存储多个LLMs的副本（用于不同任务或用户的各种版本）也可能使MEC服务器不堪重负。因此，必须开发新型的模型放置策略，以减少LLMs的内存和存储需求。

3. 云边端协同网络赋能大语言模型部署

根据6G时代的网络赋能AI愿景，本文设想了一种支持部署大型语言模型的6G MEC架构，如下图所示。

图1 6G云边端框架赋能大语言模型部署

3.1 网络管理

为了利用分布式计算和存储资源进行协作模型训练和推理，网络虚拟化至关重要，它提高了资源利用率、灵活性和可管理性。遵循软件定义网络的设计原则，6G MEC架构具有一个中央控制器，该控制器协调全网的计算资源和数据传输，采用解耦的控制平面和数据平面。通过收集全局网络知识，控制器将模型训练/推理划分和协调在分布式边缘计算系统中，传输中间数据（即中间激活和反向传播梯度）、模型参数或用户数据，跨越边缘路由器和服务器进行交换。所有这些功能与现有的5G网络无缝对接。通过集中化智能，可以支持灵活的资源编排，实现智能算法，提高全网资源利用率，并为LLMs提供卓越的服务性能。

3.2 边缘模型缓存

6G MEC架构可以直接在边缘网络中存储、缓存和迁移模型，而不是从云端检索每个模型，从而为用户下载或分布式学习提供快速模型交付。这引出了一个新的问题，称为“边缘模型缓存”，可以视为MEC系统本质上支持的“边缘缓存”的实例。考虑到LLMs的巨大规模，必须仔细研究模型在适当边缘服务器上的战略放置，以减少带宽成本和服务延迟。与传统的边缘缓存不同，6G网络运营商可以利用LLMs的两个独特特性来优化其放置。第一个方向是利用“参数共享”特性来实现有效的模型放置和迁移。不同下游任务的LLMs可能会共享相同的参数/层/块，可以利用这一点进行存储高效的模型放置。通过使用如LoRA等广泛用于微调LLMs的微调方法，模型提供者可以冻结大部分经过训练的模型参数，只调整少量可训练参数以适应新任务或个性化需求。因此，网络运营商在放置大型模型时可以考虑到模型的重叠特性，因为共享参数可能只需缓存一次。为了设计有效的模型放置策略，运营商应首先识别模型请求的受欢迎程度和LLMs的共享模型结构，然后在满足端到端服务延迟要求的同时，尽可能多地容纳模型请求。随着用户位置或请求分布的变化，缓存的模型可以迁移到新位置，仅迁移模型的特定任务部分，以最小化通信成本。然而，由于与预训练模型有广泛参数重叠的模型可能无法满足特定下游任务或新的本地环境，缓存具有较高共享比例的模型可能在模型精度和存储成本之间产生权衡。

另一个将更多模型放置在网络边缘的方法是模型压缩。通过采用各种成熟的模型压缩技术（如模型量化和剪枝），可以压缩LLMs以节省存储空间并减轻通信成本。然而，这也可能以服务质量为代价，因为压缩模型可能无法为用户提供高质量的服务。在这种情况下，可以将传统的具有不同分辨率的视频边缘放置问题适应于共同优化模型放置和压缩比率，从而在效率和性能之间取得平衡。

3.3 边缘模型训练微调与推理

预计6G移动网络将全面支持分布式学习，设想6G MEC系统能够将大型语言模型（LLMs）微调到本地环境。对于LLMs来说，从头开始训练需要大量的训练数据集和计算资源，这在网络边缘通常是不切实际且不必要的。然而，很可能基于MEC系统将一个经过良好训练的LLM适应本地或新环境。另一方面，预计6G MEC系统还可以支持LLM推理，减少往返延迟，这对延迟敏感和带宽密集型应用至关重要。

4. 该领域的开放性话题

作为新兴领域，如何利用MEC系统支持大型语言模型（LLMs）仍然存在许多未解决的研究问题。

4.1 绿色可持续的LLMs边缘智能

尽管LLMs具有显著的强大能力，但由于其庞大的规模，训练和推理过程是公认的耗电大户。绿色边缘智能将在LLMs的成功中发挥越来越重要的作用。为了在保持满意的模型性能的同时最小化能源使用，MEC系统必须智能地调度模型训练，仔细选择高质量的训练数据，并智能确定使用哪种模型。例如，如果模型训练对延迟不敏感，可以通过考虑可再生能源（如太阳能和风能）的波动性来安排利用这些能源进行训练。此外，MEC系统可以在设备上运行较小的LLMs以处理较不复杂的任务，而将大型模型仅用于边缘服务器上的挑战性任务。所有这些都需要创新的网络优化，以实现移动边缘的节能LLM训练和推理。

4.2 隐私性强的LLMs边缘智能

虽然分割学习（SL）和联邦学习（FL）都可以增强LLMs的隐私保护，但已证明中间数据或模型参数仍可能导致数据所有者的隐私泄露。为了提供更强大的隐私保护，可以使用差分隐私来提供隐私保证。对于医疗或其他隐私敏感的应用，MEC系统可以让用户通过在中间数据或模型参数中添加定制的噪声来控制其隐私泄漏水平，遵循差分隐私原则。在这种情况下，MEC系统在选择LLM训练客户端时应考虑数据噪声和信道质量。这需要理解数据噪声（包括SL中的中间数据噪声和FL或SFL中的模型参数噪声）对LLM训练过程的影响，这一领域仍然有待深入探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】