Large AI Model Empowered Multimodal Semantic Communications——基于大模型的多模态语义通信框架

1. 背景

        本文讨论了大规模AI模型在多模态语义通信（SC）系统中的应用，处理不同类型的数据（文本、音频、图像、视频）以实现低延迟、高质量的语义层次通信。提出了一个基于大模型的多模态SC（LAM-MSC）框架，旨在解决数据异质性、语义歧义以及信号传输失真等挑战。该框架通过多模态对齐、个性化知识库和生成式信道估计，提升了通信性能。

        多模态SC系统面临的主要挑战包括：

• 数据异质性：需要同时处理文本、图像和视频等不同类型的数据，这些数据可能涉及复杂的任务，如机器翻译、图像识别和视频分析。
• 语义歧义：由于通信双方的知识背景不同，可能会导致对语义信息的理解不一致，从而产生歧义。
• 信号失真：无线信道由于环境因素会导致信号失真，使得传输语义信息变得困难。

        大规模AI模型（如多模态语言模型（MLM）和大语言模型（LLM））具有以下优势：

• 准确的语义提取：通过亿万参数的模型，可以从输入数据中提取高质量的语义信息。
• 丰富的背景知识：模型通过大规模数据集（如ImageNet、Audioset、维基百科等）训练，具备强大的领域知识。
• 强大的语义解释能力：在处理噪声或复杂语境时，能够保持语义信息的准确传达。

        本论文通过CoDi模型将多模态数据转换为文本格式，确保语义一致性和传输效率。同时，使用GPT-4和个性化提示库，根据个体信息进行个性化语义提取。利用条件生成对抗网络（CGAN）估计无线信道状态，增强数据传输的可靠性。

2. 系统框架

        LAM-MSC框架集成了大规模AI模型，用于增强多模态SC的各个方面。其主要组件包括：

• 多模态对齐（MMA）：将多模态数据（如图像、音频）转换为文本，保持语义一致。
• 知识库（LKB）：通过GPT-4和个性化提示库，进行个性化语义提取。
• 信道估计（CGE）：估计无线信道状态，减少信号失真。

3. 仿真结果

        该框架使用不同的数据集进行测试（如VOC2012用于图像，LibriSpeech用于音频，UCF101用于视频），通过BERT和余弦相似度评估语义传输的准确性。结果表明，加入个性化知识库后，语义传输的准确性显著提高。

        本文提出的LAM-MSC框架通过解决语义一致性、个性化以及信道失真等问题，显著提升了多模态SC系统的性能。仿真结果表明，与现有的单模态解决方案相比，该框架在准确性和数据压缩效率方面具有显著优势。