基于AI辅助的可扩展视频语义通信系统

【摘  要】语义通信作为一种面向多智能体交互的新型通信范式，对未来通信实现高效传输提供了新的解决方法。由此，提出了一个AI辅助的可扩展视频语义通信系统。该系统能够基于现有的信源信道分离编码方案（如传统的高效视频编码HEVC与低密度奇偶校验编码LDPC），与AI辅助的可学习语义编解码器相结合，实现视频流与语义流的共同传输。其中可学习的语义数据流是视频帧中针对特定任务提取的语义信息，能够较好地提升接收端精确重建与下游任务的性能。实验证明，该视频语义通信框架相较于传统通信，在重建任务性能相差无几的情况下具有更好的下游任务表现；而相较于现有的端到端的基于深度学习的语义通信系统，性能相近的同时能够基于多种传统视频编解码标准进行扩展设计，具有与传统压缩方案更强的耦合性与适应更多场景的能力。

【关键词】语义通信；视频压缩；深度学习；无线通信

0   引言 

在通信系统从1G发展到5G的发展过程中，各种无线通信技术层出不穷，为人、机、物的互联提供了全新的通信范式。根据中国互联网信息中心（CNNIC）发布的第48次《中国互联网络发展状况》统计报告，早在2021年6月，我国网络视频的用户规模已经达到9.44亿，而高清视频的传输占用互联网流量的80%以上[1]。面对全球移动数据流量的爆发式增长，不难发现数据通信负担和延迟瓶颈主要来自服务器和终端的无线传输；此外，在有限的带宽资源下，人们多维度、多途径的通信需求导致的数据模态多样化（语音、图像、视频）任务需求也日益多样化，在6G智能应用场景中（如AR/VR）的无线视频交付，更是对计算效率、能耗和时延提出了新要求。因此，作为通信问题中物理层传输的下一层，语义层传输