语义通信论文略读（三） Generative AI-Enhanced Multi-Modal Semantic Communication in Internet of Vehicles

Generative AI-Enhanced Multi-Modal Semantic Communication in Internet of Vehicles: System Design and Methodologies

互联网车辆中基于生成式AI增强的多模态语义通信：系统设计与方法

· 作者: Jiayi Lu, Wanting Yang, Zehui Xiong, Chengwen Xing, Rahim Tafazolli, Tony Q.S.Quek, Mérouane Debbah
· 所属机构: 北京理工大学信息与电子学院，新加坡科技设计大学信息系统技术与设计学部，英国萨里大学通信系统研究所，阿布扎比科学技术大学KU 6G研究中心，巴黎萨克雷大学CentraleSupelec
· 关键词: 语义通信，互联网车辆，生成式AI，多模态数据
· 时间：2024年

研究背景:

1. IoV系统组成： IoV系统由车辆、路边单元(RSUs)、车载边缘计算(VEC)和车载云计算(VCC)组成，支持多种安全和娱乐任务。
2. 通信依赖任务： V2X通信支持从驾驶安全到娱乐服务的众多任务，但多模态数据的处理增加了传输负载，而车辆网络的动态性增加了传输不稳定性。

研究内容

1. G-MSC框架： 提出了一种新的框架G-MSC，旨在通过使用适当的模拟或数字传输来处理各种车辆网络任务。
2. GAI技术： 生成式人工智能(GAI)为SemCom框架的转型提供了机会，通过增强语义编码来优化多模态信息的集成，增强信道的鲁棒性，并加强语义解码以抵御噪声干扰。

先将雷达点云数据和摄像机图像数据转换为相同的坐标空间。接下来，我们对点云数据进行体素化，并使用ResNet101编码器提取图像特征。通过双线性采样得到了三维特征网络。然后，将点云和图像数据投影到相同的BEV空间，连接，使用信道编码进行处理，信道编码由四个卷积层组成，每个层有5个核。编码后的数据通过AWGN通道传递，然后压缩成BEV特征图。

研究方法:

1. G-MSC框架设计： G-MSC框架包括GAI增强的语义编码器、GAI增强的信道传输和GAI增强的语义解码器三个关键组件。
2. 模拟编码： 对于多模态数据，如自动驾驶车辆中乘客的语音命令和文本输入，可以使用生成模型来生成统一的文本表示。
3. 数字编码： 长距离通信通常需要数字通信，数字编码在传输端进行。
4. GAI增强的高移动性无线传输： GAI可以增强信道建模、信道估计和多址接入。
5. GAI增强的多任务语义解码器： GAI可以增强模拟解码器和数字解码器。

训练方法

该系统的培训分为三个阶段。在第一阶段，我们训练多模态融合编码器和语义解码器模块。在第二阶段，我们添加了信道和信道编码，并在BEV压缩机之前添加了信道解码训练。通道之前的网络模拟车辆上的本地处理，而通道之后的网络，包括BEV压缩机，模拟边缘服务器上的处理，从而处理更高的计算需求。这种分裂学习方法解决了自动驾驶汽车中计算能力有限的挑战。在第三阶段，采用扩散模型进行细化。

实验设计:

1. 实验设置： 使用nuScenes-mini数据集，包含6个摄像头、5个雷达传感器和1个激光雷达传感器，覆盖10个场景。
2. 实验设备：在一个配备了NVIDIA RTX 4090（24GB）GPU的系统上进行的。
3. 实验过程： 在发射端，使用BEV融合将点云数据和图像数据融合为统一的表示。在接收端，使用扩散模型来细化和增强图像质量。

结果分析:

1. 图像清晰度： 实验结果表明，经过扩散模型增强的BEV图像清晰度显著提高。
2. IoU指标： 通过计算实验结果与真实情况的交并比(IoU)，评估了扩散模型增强BEV融合的效果。
3. 预测任务： 使用场景C预测未来1、2、3秒的图像，结果显示预测图像清晰且定义良好。

总体结论:

1. G-MSC框架有效性： G-MSC框架通过减少IoV中多模态数据引起的大量通信数据量，增强了车辆网络高动态环境中的通信可靠性，并减轻了不可避免的噪声影响。
2. 未来研究方向： 提出了GAI增强的SemCom在IoV中的三个未来研究方向，包括混合数字-模拟传输、多车辆语义信息调度和跨任务协调。