【论文速读】《LLM4CP: Adapting Large Language Models for Channel Prediction》

论文地址：
https://ieeexplore.ieee.org/document/10582829

前言：之前就想，大语言模型是否可以通过微调用于通信系统的无线空口应用，这篇文章给出了答案。通过讲信道状态信息进行嵌入和注意力操作，变成大语言模型可以适配的数据，然后LLM只需要微调就可以活得较好的信道预测性能。

摘要：

本文提出了一种名为LLM4CP（Large Language Model-empowered Channel Prediction）的方法，用于预测大规模多输入多输出（m-MIMO）系统中的信道状态信息（CSI）。现有的信道预测方法由于模型不匹配错误或网络泛化问题而缺乏精度。利用大型语言模型（LLMs）的强大建模和泛化能力，作者提出了一种基于预训练LLM的信道预测方法，通过历史上行CSI序列预测未来的下行CSI序列。在微调网络时，冻结了预训练LLM的大部分参数，以实现更好的跨模态知识迁移。为了弥合信道数据与LLM特征空间之间的差距，特别定制了预处理器、嵌入层和输出模块，并考虑了独特的信道特性。仿真验证了所提出方法在全样本、少样本和泛化测试中的最先进（SOTA）预测性能，并且具有较低的训练和推理成本。

解决的主要问题：

• 现有信道预测方法在m-MIMO系统中由于模型不匹配或泛化问题而精度不足。
• 在高速移动性场景中，现有方法难以准确建模复杂的空间、时间、频率关系。
• 深度学习方法在CSI分布变化时泛化能力差，需要重新训练。

贡献：

1. 提出了一种新颖的LLM-empowered信道预测方法LLM4CP，用于MISO-OFDM系统，即在信道预测数据集上微调预训练的GPT-2。据作者所知，这是首次尝试将预训练的LLM用于信道预测。
2. 针对信道的独特特性，设计了专门的模块和处理流程，以弥合信道数据和LLM特征空间之间的差距，从而促进跨模态知识迁移。
3. 初步结果验证了所提出方法在TDD/FDD信道预测任务中的SOTA性能。此外，它展示了在少样本和泛化预测性能方面的优越性，以及低训练和推理成本。

引言

大规模多输入多输出（MIMO）技术被认为是第五代（5G）及未来5G移动通信系统的核心技术，用于提高频谱效率（SE）。准确的信道状态信息（CSI）在促进m-MIMO相关设计中起着基础性作用，例如收发器优化、自适应调制、资源分配等。通常，CSI是通过信道估计获得的，其更新频率由信道相干时间决定。对于涉及高速用户移动的场景，缩短的信道相干时间显著增加了信道估计的开销，从而导致系统SE的显著降低。此外，在频分双工（FDD）系统中，由于上行链路和下行链路的信道互易性不成立，基站（BS）只能通过用户反馈获得下行链路CSI，导致开销增加和延迟。信道预测是一项有前景的技术，可以减少CSI获取的开销，它基于历史CSI数据预测未来的CSI。历史CSI和预测CSI可以位于相同或不同的频带中，分别对应时分双工（TDD）和FDD模式。例如，在FDD系统中，下行链路CSI可以从之前的上行链路CSI推断出来，从而避免了信道估计和反馈的需要。现有的信道预测研究可以分为三种类型，即基于模型的方法、基于深度学习的方法和混合（物理信息深度学习基础）方法。对于基于模型的方法，已经研究了几个参数模型用于时序信道预测，包括自回归（AR）模型、正弦波叠加模型和多项式外推模型。在文献[13]中，提出了一种基于Prony的角-延迟域（PAD）信道预测算法，利用大规模MIMO正交频分复用（OFDM）系统中多径角度和延迟的高分辨率。此外，还设计了一个联合角-延迟-多普勒（JADD）CSI获取框架，用于利用上行链路和下行链路信道之间的部分互易性。尽管如此，基于模型的方法的有效性在很大程度上取决于理论模型的准确性，这可能难以适应实际信道的复杂多径特性。深度学习展示了其在自动适应数据分布方面的强大能力，无需事先假设。最近，几种经典神经网络已应用于信道预测任务。在文献[15]中，基于多层感知器（MLP）的信道预测方法展示了与基于向量卡尔曼滤波器（VKF）的信道预测器相当的性能。为了更好地学习时序变化，递归神经网络（RNN）和长短期记忆（LSTM）被应用于信道预测。此外，提出了一种基于transformer的并行信道预测方案，以避免顺序CSI预测过程中的错误传播。在文献[19][20]中，通过将预测过程视为图像处理，卷积神经网络（CNN）和生成对抗网络（GAN）被用于下行链路CSI预测。然而，由于缺乏对信道独特结构的考虑，上述方法在处理复杂的信道预测任务时存在困难，并表现出高复杂性。因此，一些基于物理信息的深度学习工作考