Large Language Models for Wireless Networks: An Overview from the Prompt Engineering Perspective

摘要——最近，大型语言模型（LLMs）已成功应用于许多领域，展示了卓越的理解和推理能力。尽管这些LLMs具有巨大的潜力，但通常需要专门的预训练和微调以适应特定领域应用，如无线网络。这些适应过程可能会对计算资源和数据集要求极高，而大多数网络设备的计算能力有限，且高质量的网络数据集较为稀缺。为此，本研究从提示工程（prompt engineering）的角度探索了LLM驱动的无线网络，即设计提示以引导LLM生成所需输出，而无需更新LLM参数。与其他LLM驱动的方法相比，提示工程能够更好地与无线网络设备的需求相契合，例如更高的部署灵活性、更快的响应时间和较低的计算能力要求。具体而言，本研究首先介绍了LLM的基本原理，并比较了不同的提示技术，如上下文学习、链式推理和自我修正。接着，我们提出了两种新的提示方案，旨在网络应用中的迭代优化和网络预测：用于网络优化的迭代提示和用于网络预测的自我修正提示。案例研究表明，所提出的方案能够实现与传统机器学习技术相当的性能，并且我们的提示驱动方法避免了专门的模型训练和微调，这也是现有机器学习技术的瓶颈之一。

关键词——大型语言模型，无线网络，提示工程

I. INTRODUCTION

作为生成式人工智能（generative AI）的一个子领域，大型语言模型（LLMs）已受到工业界和学术界的广泛关注[1]。生成式AI和LLM的进展为6G网络提供了有前景的机会，包括强大的推理和规划能力、多模态理解、6G传感、语义通信[2]、集成卫星-空中-地面网络[3]等。尽管具有巨大的潜力，但将LLM集成到无线网络中仍面临几个挑战。首先，无线网络是复杂的大规模系统，涉及多个知识领域，即信号处理和传输、网络架构和设计、协议、标准等。直接将通用领域的LLM应用于特定领域的网络任务可能导致性能不佳。其次，LLM的发展依赖于高质量的数据集进行微调适应，但高质量的网络数据集有限，例如SPEC5G和Tspec-LLM[1]。此外，LLM在计算资源方面的需求非常高。LLM的预训练和微调通常在高性能的GPU上实现，如NVIDIA A100和H100，但无线网络设备通常计算和存储能力有限。LLM涉及广泛的技术，如预训练、微调LLM以完成特定任务、检索增强生成（retrieval augmented generation，RAG）、提示工程等。因此，识别一种高效的方法，以更好地将LLM适应到无线网络中是至关重要的。

鉴于上述机会和挑战，本研究提出了提示工程，这被认为是一种资源高效和灵活的方法，能够使用LLM并具有快速的实现速度[4]。这些优势将有助于克服上述LLM应用挑战，例如部署困难和对计算资源的需求。具体而言，提示指的是设计输入提示来引导预训练的LLM生成期望的输出。它利用了预训练LLM固有的推理能力，并避