【论文速读】《Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless System》

文章链接：https://ar5iv.labs.arxiv.org/html/2402.01748

这篇论文的标题是《Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless Systems》，作者是Shengzhe Xu, Christo Kurisummoottil Thomas, Omar Hashash, Nikhil Muralidhar, Walid Saad和Naren Ramakrishnan（后两位都是 IEEE fellow）。

如何将LMM应用于通信领域，这是我作为通信专业人士，必须关心的一个话题。这篇文章，总的来说，关于已有探索的局限性分析的不错，关于后面的开放性问题也总结的不错。但是文章提出的框架，还是有些过于概念化。所以对于文章的试验结果，也没有关注。

摘要

大型语言模型（LLMs）和基础模型最近被认为是6G系统的变革者。然而，目前对无线网络中LLMs的研究仅限于直接应用为自然语言处理（NLP）应用而设计现有语言模型。为了解决这一挑战并创建以无线为中心的基础模型，本文提出了一个全面的视野，展示了如何设计针对下一代无线系统独特需求的通用基础模型，从而为人工智能（AI）原生网络的部署铺平了道路。与基于NLP的基础模型不同，提出的框架促进了三个关键能力的大型多模态模型（LMMs）的设计：1）处理多模态感知数据，2）使用因果推理和检索增强生成（RAG）实现真实无线系统中物理符号表示的定位（grounding），3）通过神经符号AI辅助的逻辑和数学推理，从无线环境反馈中实现可指导性，以促进动态网络适应。本质上，这些属性使所提出的LMM框架能够构建通用能力，以满足各种跨层网络任务和不同领域间的意图对齐。实验评估的初步结果展示了在LMMs中使用RAG进行定位的有效性，并展示了LMMs与无线系统设计的对齐。此外，与普通LLMs相比，LMMs在回答数学问题时表现出的增强的合理性，展示了LMMs固有的逻辑和数学推理能力。在这些结果的基础上，我们提出了一系列开放性问题和挑战，然后以一套建议结束，这些建议激发了通往LMM赋能的AI原生系统的道路。

关键词： 大型多模态模型，通用基础模型，AI原生，定位，对齐，可指导性。

摘要总结了这篇论文的核心观点，即提出了一种新的基于多模态数据的通用基础模型框架，旨在通过结合因果推理、检索增强生成和神经符号人工智能等技术，提高无线网络系统的智能化和自动化水平。

I. 引言

未来的人工智能（AI）原生无线系统（例如6G及更高版本）必须利用机器学习（ML）和AI算法来设计、优化和运营网络的各个方面，包括资源分配、干扰管理、收发器设计等[1]。因此，由AI模型实现的跨层网络功能可以推动高级网络能力，包括：1) 弹性，使6G网络能够在面对挑战性场景时保持连接性，即使在中断情况下也能维持连接；2) 意图管理，允许网络自动将高层业务意图转化为闭环网络配置；3) 大数据分析，使用历史无线数据进行诊断，解决软件或硬件故障，改善通信和计算资源的使用，并预测未来用户和网络行为；以及4) 非线性信号处理，允许网络处理多模态信号特征和传播环境。为了实现上述目标，一个有前景的途径是探索生成性AI的通用知识检索和生成能力，特别是如大型语言模型（LLMs）这样的基础模型。在多样化数据集上训练的LLMs能够识别复杂的模式，并为优化未来连接智能应用中的最终用户体验提供洞见。特别是，LLMs在预测分析方面表现出色，能够根据历史数据预见潜在的网络性能偏差，并使采取主动措施成为可能。此外，LLMs促进了自然语言交互的网络管理，提高了可访问性。此外，它们还可以通过推荐适应性策略来帮助优化信令方案和资源分配，提高效率。在这种情况下，这些系统的动态可重配置性，由LLMs促进，可以帮助加快将标准化纳入未来AI原生无线系统设计的过程，从而实现更快的产品上市时间。

A 相关工作及局限性

最近，[2]–[5] 中探讨了无线网络中的LLMs。然而，[2]–[4] 中考虑的LLMs仅限于处理单一模式的文本数据，这限制了它们的角色仅为网络聊天机器人。因此，这样的LLMs无法捕捉到未来无线网络多服务功能（例如感知、通信等）产生的数据的多样性。尽管[5]中的作者提出了一个聚焦于使用多模态LLMs的愿景，他们的方法依赖于像GPT-x、LLaMA或Falcon这样的为自然语言处理（NLP）任务量身定制的LLMs。为了有效，这样的多模态LLMs必须针对特定的、狭窄的无线任务（如资源分配）进行微调。因此，微调限制了它们作为AI原生网络中不同相关跨层任务的通用解决方案的采用。此外，我们确定了[2]–[5]中的局限性，这些局限性可能阻碍了采用LLMs作为实现AI原生网络目标的变革性解决方案。首先，当前的工作忽视了AI原生网络如何大规模融合驱动其多模态LLMs的环境感知数据。此外，像[5]这样的最新解决方案忽略了即使是文本无线数据也可能以特定格式（例如3GPP表格）存在，网络性能评估可以以图表或图像的形式呈现。在现实世界感知方面的结构和模态限制了LLMs可以有效采用的功能范围（例如无线聊天机器人、文本到图像转换）。

其次，当前的LLMs缺乏将其抽象的基于语言的知识与现实世界体验联系起来的基本定位能力。实际上，LLMs主要是通过在大量文本数据上的训练获得知识。因此，这些LLMs不了解复杂的物理法则，这些法则支配着无线环境，例如无线信号的传播过程，从而导致可能不一致的决策和预测。缺乏定位能力阻碍了AI原生网络执行逻辑、因果和数学推理操作，这是实现未来网络目标（如弹性、意图管理、非线性信号处理等）的基石。因此，有必要确保LLMs获得的表示能够准确解释来自现实世界的信息，并符合网络目标。

第三，LLMs的一个持续挑战是它们倾向于通过生成与现实世界无关联的“类人”输出来制造虚假信息[6]。如果发生这种幻觉，由LLMs驱动的AI原生网络可能会产生误导性或不准确的信息。例如，网络可能会提出违反基站发射功率规定阈值的功率分配。因此，依赖普通LLMs可能会导致AI原生网络中的对齐问题。这里的对齐可以包括实现网络目标、遵守辐射功率或环境可持续性目标等物理约束，并确保遵守监管无线网络部署的政府法规。因此，当前的LLMs缺乏来自环境的精确可指导性。这一缺陷阻碍了它们保持控制和指导的能力。可指导性指的是LLMs根据用户（无论是用户设备、系统工程师还是网络运营商）的明确反馈动态调整其行为的能力。这种适应性还应确保LLMs做出的决策是可解释的，从而促进可信赖的解决方案。因此，设计具有感知、定位和可指导性属性的多模态LLMs至关重要，以尝试实现具有对齐能力和通用能力的AI原生网络。在这里，无线系统的通用基础模型可以定义为针对无线领域内的各种任务和应用量身定制的AI模型，而不考虑网络架构和标准。此外，它们必须展示出对感知数据背后的无线环境的现实世界运作的理解能力。这包括对新场景进行推理并为无线通信的不同方面提供结论的能力，涵盖网络管理、资源分配、协议遵守和故障排除等领域。

B 贡献

本文的主要贡献是引入了具有定位和可指导性的通用大型多模态模型（LMMs），确保AI原生无线系统实现对齐能力，如图1所示。我们的关键贡献包括：

我们首先提出了一个新的通用无线中心基础模型框架，通过将以下能力整合到LMMs中，超越了[2]–[4]：1) 多模态数据融合：将多模态感知信息融合到共享的语义空间，实现通用基础模型的高效训练，2) 定位：通过RAG[7]创建特定于无线的语言，利用因果推理，3) 可指导性：通过在线强化学习（RL）和交互式提示以及神经符号AI，促进无线环境与LMMs之间的透明交互，执行逻辑和数学推理。这种方法通过开发可信赖的LMMs确保了对齐，这些LMMs能够解释无线数据背后的原因，提出与网络目标一致的跨层网络行动，并适应各种物理约束。

我们展示了使用RAG将无线概念嵌入LMMs的有效性。概念验证结果表明，注入更多的无线上下文可以提高LMM响应的准确性，从而减少与无线上下文无关的幻觉。此外，对于数学问题，LMM提供了准确响应以及适当的理由，展示了其在正确上下文中进行有效推理的能力。

我们提出了一个使用LMMs的基于意图管理的用例，包括问题制定、意图保证和验证阶段。实验中展示的改进的逻辑和数学推理能力使LMMs能够作为动态问题解决者。LMMs生成的准确响应有助于在意图管理期间验证提出的解决方案，确保与任何物理约束的对齐。我们还展示了逻辑和数学推理能力使持续监测网络性能成为可能——这是构建弹性无线网络的关键方面。与可能受限于特定领域的深度RL方法不同，LMMs可以通过提出一系列补救措施来加速网络服务在故障期间的恢复。这对于软件、硬件或无线环境中的故障都是正确的。

我们强调了构建通用基础模型的挑战，涵盖了网络规划、获取多样化数据集和适应不断发展的标准等方面。此外，我们提出了简化LMMs训练和推理计算复杂性的方法，为可持续的无线网络目标做出了贡献。这涉及利用模型稀疏性、上下文窗口和构建分布式基础模型。总之，我们的综合框架和初步实验结果为理解构建能够有效执行多样化跨层网络功能的通用无线基础模型所需的基本组件提供了宝贵的指导。

II LMM赋能的AI原生无线系统：提出的框架

为了构建通用基础模型，如图2所示，我们提出的多模态LMM框架建立在以下原则之上：1) 多模态数据融合，识别无线环境中存在的物理符号，并将多模态数据融合到共享的语义空间中，以最小的维度，同时避免多模态数据之间的数据冗余；2) 通过因果推理和RAG实现定位，从而理解从无线角度来看物理符号的含义及其相互关系；3) 可指导性，根据环境反馈，通过神经符号AI辅助的逻辑和数学推理，实现信号策略和资源分配策略的动态调整。由此产生的LMM生成的网络行动与3GPP标准和政府法规规范准确对齐。接下来讨论提出的通用基础模型框架的组成部分。

II-A 多模态感知信息的融合：最小性与冗余之间的权衡

捕捉现实世界无线环境的门户始于对其多样化环境的精确感知和映射。实际上，像[5]（及其参考文献）中讨论的先前工作，探讨了利用视觉生成性AI模型（如DALL-E3）或多模态变换器（如metatransformer）将多模态无线感知信息映射到语义潜在空间。通过捕捉无线环境的特征，这些模型可以用于增强AI原生网络中感知应用的情境和情境感知。然而，将所有映射的感知信息（来自不同来源）作为输入提供给LMM进行训练是资源密集型的，并且需要大量的时间进行重新训练。这阻碍了维护无缝连接所必需的动态更新的及时执行。为了解决[5]中固有的metatransformers的这一局限性，我们提出使用数据过滤。正如接下来所讨论的，这种数据过滤方法旨在向LMM传达一系列相关的信息摘要。为了实现这一点，我们提议首先识别跨多模态数据中存在的物理符号。这里的物理符号指的是数据中存在的具有与无线网络相关语义的抽象实体。例如，这可能涉及将符号与各种外部和内部元素相关联。外部元素包括动态对象，如环境中的散射元素和用户。同时，内部元素涉及静态网络特性，如网络地址以及支撑无线传输或接收的信号处理方法等。在这里，不同模态数据中符号传达的信息可能存在冗余。为了减少冗余，共享语义潜在空间的构建应遵循信息瓶颈原则[8]。在这个框架中，假设数据集中存在一种主导信息模式，称为主要模态，作为主要信息来源。其他模态补充或增强多模态数据集中主要模态提供的信息。这里，任何模态的紧凑表示应尽可能少地传达关于原始数据的信息，同时，主要模态表示应尽可能多地传达关于其他模态的信息。这确保了结果的语义潜在空间具有最小的维度，同时避免信息冗余。此外，对于LMM训练，我们提倡使用共享语义空间中过滤后的表示作为输入。此外，过滤还确定何时对LMM的神经网络参数进行动态更新，考虑到捕获数据的性质，这些数据可以是静态的（例如3GPP标准）或动态的（例如无线信道信息或变化的应用）。

II-B 在LMMs中通过因果推理实现定位：减少幻觉，增强可信度

如前所述，定位的挑战限制了LLMs在现实世界推理中的有效性。传统的定位方法通常包括创建一个知识库，它代表符号AI的一个实例。这种方法构建了一个复杂的概念网络，作为系统的记忆，并与现实世界的操作直接对齐。这个概念网络捕捉了物理符号（如散射物体、用户、网络拓扑、传输或接收参数等）之间可能的逻辑关系。然而，随着关系和物理符号数量的扩展，使用知识库方法面临着可扩展性挑战。为了克服传统定位方法中的这些限制，我们提出LMMs应使用因果推理来推断各种已识别物理符号之间的关系，具体讨论如下[9]。虽然特定的实验表明语言模型可能表现出因果性，但这主要是归因于训练数据中根植的因果知识，而不是LLMs具有固有因果理解的迹象。在[10]中，介绍了一种基于梯度的、适用于因果处理效果的零样本最优协变量平衡的变换器类型算法。我们建议通过整合理论方法来推进[10]，构建因果基础模型，重点关注作为相关物理符号的无线概念。这里，人们可能会问：如何识别物理符号之间的因果关系，以及如何确保学到的关系与标准和教科书中的无线概念对齐？一个标准方法是执行微调[5]，即对大量通用文本上训练过的预训练语言模型进行微调，然后继续在小规模的特定任务文本上进行训练。微调后的NN层可以捕捉无线概念和观察之间的因果关系。如果用户明确知道真实的因果关系，微调是合适的。对于无线场景，微调可能有助于构建一个能够从其知识库中提取有价值信息的特定于无线的聊天机器人。然而，微调LLMs可能会限制它们支持的无线应用范围，将它们限制在特定上下文中。这种限制来自于微调过程中调整的NN参数的有限集合（有限的自由度），随着无线环境或任务的变化，需要重新调整。为了解决上述限制，我们建议利用RAG的能力，然后执行下一节讨论的因果发现（见图3）。

1. 通过RAG进行因果发现：
   • RAG：与微调不同，微调监督输入和输出，RAG[11]旨在加强提示的输入。通过从特定领域的数据库查询，RAG弥合了相应领域知识背景与提示中原始问题之间的差距。在无线场景中，领域知识数据库可以是教科书、3GPP标准或任何设备说明书。一旦检索到这些信息，就可以使用RAG的生成组件来制定新的内容，推断或表达各种已识别物理符号之间的因果关系。例如，当LMM被赋予推导环境中散射物体与信道参数（如到达角AoA或出发角AoD）之间的因果关系的任务时，RAG有助于从教科书或标准中初步学习无线概念。随后，RAG协助推断观察到的无线事件之间的因果关系。

• 知识不断演变的RAG：与仅依赖LMMs的RAG不同，知识不断演变的RAG[12]作为一个具有反馈循环的动态多步系统运作。通过可演化的外部知识组件和多代理合作，RAG在实施更苛刻的应用方面变得多功能，这些应用需要像连接的家庭或工业机器人、通用知识检索进行语义通信[13]和意图管理等多任务。凭借其持续学习能力，知识不断演变的RAG能够不断更新所有OSI层的无线算法，结合半导体行业和软件解决方案的进步。这在意图管理和弹性方面特别有利（见第III-B节和III-C节）。除了持续学习能力外，知识不断演变的RAG还能够动态调整从教科书或标准中检索到的知识，以满足特定应用需求。例如，这意味着在多用户通信系统中，可能需要检索与单用户场景可能需要的不同的信号处理算法的文献。

通过RAG进行因果发现对LMMs意味着什么？：通过因果发现进行定位意味着赋予LMMs理解物理符号之间的因果关系的能力，并通过干预和反事实进行因果推断[9]。通过干预和反事实，LMM可以进行一连串推理，分析一系列因果状态-动作对 (st, at) 及其效应，s0 a0 −→ s1 a1 −→ s2 ··· aN−1 −−−−→ sN。这种能力有助于为无线资源分配、传输和接收的信令方案（可能包括波束成形、调制、编码和控制信令等）以及服务质量（QoS）管理进行长期规划，从而有助于建立健壮和弹性的无线系统。

II-C 来自环境反馈的可指导性

对于LMMs的可指导性，它们应该能够实时动态调整资源分配、信令策略以及许多其他跨层网络功能，以适应不同的任务、环境和优化目标。此外，它们还应该能够持续监测无线观测，识别和解决可能阻碍无缝网络连接的任何未预见问题。基于用户反馈动态调整无线资源管理和信令方案的标准方法涉及使用深度强化学习（deep RL）。然而，深度强化学习技术是特定于任务的，当无线环境和优化目标发生变化时，需要重新训练。虽然存在多任务RL解决方案，但它们大多限于特定领域或OSI层。此外，它们缺乏随着标准变化或无线技术进步而不断演变其状态和动作空间的能力。除了这些限制，传统的多任务RL解决方案缺乏进行演绎推理的能力，这对于推断缺失数据或确定观察数据的最佳解释至关重要。这些品质对于实现动态适应性和可重配置性、弹性和意图管理以及支持语义通信和其他相关任务所需的演绎推理能力至关重要。

我们接下来讨论提供LMM可指导性所需的关键组成部分。我们首先详细说明结合通信上下文、提示和具有无线环境反馈的在线LMM的框架，有助于建立一个可指导的系统。随后，我们探讨如何获得关键品质，如逻辑和数学推理，这些对于构建自适应和动态可适应系统至关重要，从而实现可指导性。

通信上下文：用于表示物理符号的因果表示，类似于基于NLP的LLMs中的标记，构成了LMM的通信上下文。该上下文封装了无线通信场景的关键方面。LMM上下文中包含的组件包括：

• 包括以下细节的网络设置：1) 通信设备，2) 通信链路（下行链路或上行链路），3) 描述天线配置以及任何其他网络架构的物理拓扑。
• 通信约束，包括对总功率和跨频率、时间和其他维度的共享通信/计算资源的约束。
• 使用RAG阅读的无线标准/文本片段，包括来自相关无线通信标准或文档的摘录，为通信场景提供上下文基础。
• 可能包括服务质量（QoS）指标的端到端优化目标，如平均吞吐量、延迟、可靠性/体验质量。
• 迭代提示机制：迭代提示机制是一个过程，在这个过程中，LMM通过多轮与人类提示的交互得到指导。在每次迭代中，模型根据上一轮生成的输出（例如，基于LMM提供的无线策略的QoS结果）接收反馈或其他信息，这些反馈用于改进和改善后续响应。

使用神经符号AI的在线LMM与无线环境反馈：为了构建自主的下一代无线系统，消除迭代提示所需的人为干预至关重要。为了解决这一局限性，我们建议构建一个在线LMM框架。

迭代提示机制
迭代提示机制是一个过程，在这个过程中，LMM被引导通过与人类提示的多轮交互。在每一次迭代中，模型从上一轮接收基于生成的输出（例如，基于LMM提供的无线策略的QoS结果）的反馈或附加信息，并且该反馈用于细化和改进后续响应。

使用神经符号AI的具有无线环境反馈的在线LMM
为了构建自主的下一代无线系统，消除迭代提示所需的人工干预至关重要。为了解决这一限制，我们建议建立一个在线LMM框架。在这种设置中，LMM作为无线策略发挥作用，并使用在线RL在交互设置中进行操作嵌入。这需要利用收集的无线观测和环境反馈，迭代增强其功能，与无线语言表达的目标保持一致。LMM支持的跨层网络功能的公式可以表示为部分可观察的马尔可夫决策过程。这里，状态由通信上下文和提示定义，动作由LMM建议的无线策略表示，并且使用从无线环境获得的性能度量来确定奖励。如果可用，网络运营商可以用自然语言表达网络目标或意图。为了确保连续运行而不中断连接，在线LMM应具有解释无线观测和推断任何丢失数据的能力，这就需要逻辑推理能力。此外，考虑到许多无线概念可以用数学表达，LMM必须不可避免地能够执行数学推理。这包括诸如信道预测、波束成形矢量计算、信道质量测量和许多其他跨层网络计算之类的任务。

与缺乏逻辑和数学推理能力的多任务相比，我们主张通过使用神经符号人工智能来融合这些品质[13]。在我们的环境中，符号人工智能用于评估各种逻辑和数学公式，而神经组件负责从无线观测和上下文信息中学习逻辑和数学方程。当使用因果发现（见第II-B1节）提示通信上下文和接地气的无线观测时，符号人工智能允许通过规则和复杂的算法连接事实和数据，类似于人脑在存储高级概念和进行细微推理以获得适当反应方面的认知操作。为了防止幻觉，LMM不仅必须具备非凡的语言解释和生成能力，还必须具备解释无线观测和推断任何缺失数据的能力。此外，他们应该在各种物理符号和通过符号人工智能获得的规则之间建立联系。在这里，一种可行的方法是开发一种形式化的逻辑语言，旨在封装无线概念的详尽本体，并阐明管理无线系统功能的规则（这里是符号部分）。这一策略让人想起Cyc概念[14]，它为基于网络的数据提供了类似的目的。除了缺乏逻辑推理能力外，现有的LLM在准确捕捉数学公式和执行数学推导方面还面临挑战。我们建议向LMM灌输数学推理，使其能够进行专门针对无线系统的计算。在这种情况下，一种有前景的方法涉及利用神经符号问题求解器[15]，该求解器包括三个主要组件。首先，问题阅读器将数学单词问题（作为文本提示）编码为矢量表示。其次，程序员生成基于符号的方程，这些方程被执行以产生答案。最后，符号执行器获得最终结果。在这种设置中，程序员需要学习在各种数学符号之间建立联系的权重（神经部分）。的神经符号问题求解器能够构建动态问题求解器，这是意图管理和恢复力的关键组成部分。

IV LMM赋能的AI原生无线系统的挑战和开放问题

利用RAG进行的初步实验，如第三节所示，为LMM在与无线概念结合时的能力提供了有价值的见解。然而，在我们追求实现之前讨论的未来的无线网络目标方面，仍然存在特定的挑战。

A. 我们如何使LMMs能够进行规划？
实现未来无线网络目标要求LMMs能够提供跨各个OSI层的建议。这包括资源分配策略、非线性信号模型下的波形、网络切片策略等。为确保这些建议与长期网络目标（如性能、可持续性或无缝连接）保持一致，LMMs必须具备执行规划的能力。在这里，规划涉及LMMs提出一系列多维网络行动的能力，使网络能够优化性能目标。"多维"一词反映了这些网络行动不局限于特定任务或单一层次，而是可以跨越多个OSI层。标准方法如深度RL优化特定任务的行动，但缺乏普遍性，如第二节所讨论的。这里，我们探讨将规划整合到LMMs中的可能方法。第一种方法使用微调，涉及采用预训练的LLM，并使用规划问题（由实例及其解决方案组成）进行细化。虽然额外的微调数据和努力可能会提高经验性能，但我们必须认识到，微调本质上将规划任务转变为基于记忆（近似）检索过程。然而，这并没有为LMMs的固有规划能力提供确凿证据。第二种提高规划性能的方法涉及用提示或建议来提示LMM，以改进其初始计划猜测。在这种情况下，关键考虑因素包括回提示是手动还是自动化，哪个实体验证最终答案的正确性，以及提示是否提供额外的问题知识，或者仅仅鼓励LMM重新考虑其方法。这里更流行的方法是“思维链提示（CoT）”，涉及让人类（系统工程师）参与循环，提示LMM。然而，CoT容易受到Clever Hans效应的影响，即LMM生成无线政策，而了解正确与错误解决方案的人类循环，无意中引导了LMM。如果实现了准确性，责任在于参与循环的人类。当人类无法验证规划问题的答案时，这个框架就引起了担忧。然而，在无线网络中，为了确保自动化网络运营，我们不能依赖于人为干预。因此，一个有希望的方法是LMM通过自我反思能力来批评其预测，并进行迭代自我改进。这种自我反思能力可以通过整合因果推理来实现。有了LMM对每个网络行动的因果效应的认识，它可以将这些经验存储在短期记忆中。随后，当面对新的无线观测时，LMM可以根据其以往的经验进行自我反思，并参与规划，以确保满足网络目标。

B. 训练通用基础模型的挑战是什么？
为无线通信训练基础模型可以实现领域特定的优化、通过减少NN权重来提高效率，并提升性能。然而，实现这一长期目标需要无线通信和计算机科学领域的利益相关者之间的合作。相关的挑战包括需要无缝跨学科合作、解决不同的通信标准问题，以及适应不断发展的技术，以确保模型的适应性和有效性。

C 如何为无线网络构建可持续的LMMs

使用像GPT-X或LLaMA这样的预训练大型语言模型（LLMs），它们拥有数十亿参数，为计算和内存受限的无线边缘设备带来了挑战，这些设备受到DRAM的限制。此外，在训练和推理期间，更庞大模型的巨大能耗阻碍了未来无线系统的可持续性目标。为克服这些挑战，可能的解决方案包括：

窗口化：允许只提取特定任务的相关上下文信息，从而减少LMMs注意力机制中涉及的计算量。

稀疏结构：Transformer神经网络（NN）权重显示出稀疏结构，正如Falcon LLM [17]所强调的。在这种情况下，使用稀疏推理技术变得有利，因为它通过消除所有不重要的权重来降低计算复杂性。

通用基础模型：可以作为云中的锚定模型。利用知识蒸馏，这个锚定模型向边缘服务器传授知识，指导它们创建专门针对特定无线任务设计的专业短语言模型。这种分布式架构优化了NN参数的使用，并在推理期间帮助降低了计算复杂性。

V. 结论和建议

本文为设计基于多模态、定位和可指导性原则构建的AI原生无线系统（6G及更高版本）的新框架。我们以三个关键建议结束：

加快下一代标准化到系统设计：LMMs可以协助快速原型化多种系统设计方案。利用RAG的能力，LMMs可以通过考虑提供的输入，无论是网络意图还是系统设计目标，检索相关的基于文本的描述和规范。这使LMMs能够积极参与快速探索设计替代方案及其相关影响。

构建无线数据集库：我们所呈现的基于RAG的结果显示了在无线概念基础上定位的LMMs的能力的独特见解。然而，必须承认生成全面数据集所涉及的挑战。为解决这个问题，我们建议创建一个开源的无线概念和算法的本体，来源是经过策划的教科书和无线文献选择，包括3GPP标准。这种方法确保了数据集的质量、可靠性和可信度，使其适用于整个无线社区的研究和开发。

短语言模型的组合和分布式架构：在每个基站创建一个通用基础模型可能因涉及的大量能源消耗和计算资源而不切实际。在这种情况下，我们推荐一种分布式架构，涉及在边缘服务器上构建不同的短语言模型。这些边缘服务器可能只需要一个简化的语言模型，因为它们处理的应用或任务范围有限。此外，这种分布式架构促进了基于[18]中概述的组合性原则的协作推理，通过组合多个较小模型的表示。这种组合方法赋予了基于LMM的网络随时间获得多样化技能和功能的能力，从而以分布式方式获得通用能力。