开源：基于AI大模型的语义通信

题目：Large AI Model-Based Semantic Communications

作者：江沸菠, 彭于波, 董莉, 王可之, 杨鲲, 潘存华, 尤肖虎

内容整理：江沸菠

期刊：IEEE Wireless Communications Magzine，2024

代码：https://github.com/jiangfeibo/LAMSC.git

论文地址：https://arxiv.org/abs/2307.03492（查看全文请点击原文链接）

引用：F. Jianget al., "Large AI Model-Based Semantic Communications," inIEEE Wireless Communications, vol. 31, no. 3, pp. 68-75, June 2024, doi: 10.1109/MWC.001.2300346.

语义通信（SC）是一种新兴的智能范式，为未来的各种应用（如元宇宙、混合现实和万物互联）提供解决了方案。然而，在当前的语义通信系统中，知识库（KB）的构建面临着一系列挑战，包括有限的知识表达、频繁的知识更新和不安全的知识共享。幸运的是，AI大模型包含了广泛的世界知识，能够为语义通信的知识库构建提供强大的支持。本文提出了一种基于AI大模型的语义通信（LAM-SC）框架。首先设计了基于Segment Anything Model（SAM）的知识库（SKB），它可以利用通用的语义知识将原始图像分割为不同的语义片段。然后，提出了一种基于注意力的语义整合（ASI），以权衡由SKB生成的语义片段，并将它们集成为具有语义感知的图像。此外，提出了一种自适应语义压缩（ASC）编码，以消除语义特征中的冗余信息，减少通信开销。最后，通过模拟实验，证明了LAM-SC框架的有效性以及基于大AI模型的知识库在未来语义通信中的重要性。

目录

1. 引言

1.1  语义通信系统中通用知识库的组成

1.2  语义通信系统中当前知识库方案存在的问题

1.3  贡献

2. 语义通信系统中基于大AI模型知识库

2.1  基于AI大模型的知识库的优势

2.2  语义通信系统中AI大模型的设计建议

3. LAM-SC框架的架构

3.1  LAM-SC框架简介

3.2  SKB

3.3  ASI

3.4  ASC

4. LAM-SC框架的训练

5. 仿真结果