基于深度学习的语义通信系统（ DeepSC）

一、研究背景

1.1 通信系统分层理论

通信系统可分为三个递进层次：

1. 符号传输层

   • 核心目标：确保比特/符号级传输可靠性

   • 性能指标：误码率（BER）、误符号率（SER）

   • 现状瓶颈：

     • 5G系统容量逼近香农极限（C=Blog⁡2(1+S/N)C=Blog2(1+S/N)）

     • 新兴应用（自动驾驶、远程医疗等）产生ZB级数据量，传统编码面临低延迟与频谱效率的矛盾

2. 语义交换层

   • 核心突破：

     • 通过语义提取实现数据压缩（流量减少>50%）

     • 在低SNR（<5dB）环境下保持鲁棒性

   • 典型应用：

     • 恶劣信道环境下的高可靠性通信

     • 语义感知的物联网设备互联

3. 语义效应层

   • 评价维度：

     • 接收端任务执行与意图匹配度

   • 实现路径：

     • 深度学习驱动的端到端语义-信道联合编码

1.2 语义通信研究演进

里程碑贡献	局限性/待解决问题
• Shannon信息论建立符号传输理论基础 • Bar-Hillel提出语义信息论(SIT)，引入逻辑概率量化语义	缺乏可工程化的语义度量方法
• [6]提出通用语义通信模型(GMSC)，首次定义语义噪声和语义信道	• [7]指出情报传输错误定义模糊 • 语义压缩缺乏普适性标准
• [8]开发基于GMSC的无损语义压缩理论，数据量减少>40%	压缩效率依赖特定领域知识
• [9]提出E2E语义通信框架，实现： - 语义-物理层联合优化 - Nash平衡下的语义误差最小化	• 仅评估单词级语义误差 • 句子级语义连贯性缺失 • 博弈论优化计算复杂度高(O(n³))

1.3 待解决核心问题

· 问题 1：如何定义比特背后的含义？

· 问题 2：如何衡量句子的语义错误？

· 问题 3：如何共同设计语义和通道编码？

1. 语义表征问题

   • 比特流到语义的映射关系缺乏形式化定义

   • 多模态数据（文本/图像）的统一语义框架缺失

2. 评估体系问题

   • 现有指标（WER/PSNR）无法捕获句子级语义保真度

   • 任务导向的效应评估标准尚未建立

3. 系统设计问题

   • 语义编码与信道编码的博弈优化（Nash平衡点求解）

   • 资源约束下的实时性要求（端到端延迟<10ms）

二、主要贡献即研究目标及意义

通过将 NLP 中的机器翻译技术应用于物理层通信来研究语义通信系统。

核心问题	DeepSC解决方案	技术实现与创新点
语义-信道联合编码设计	• 提出抗噪声的E2E框架 • 联合优化语义编码器+信道编码器	• 采用Transformer架构实现语义提取 • 通过对抗训练提升噪声鲁棒性（SNR<0dB时相似度保持>85%）
比特级语义表征	• 四模块架构： - 语义编码器 - 信道编码器 - 信道解码器 - 语义解码器	• 双损失函数联合优化： - 交叉熵损失（语义准确性） - 互信息最大化（信道容量）
句子级语义评估	• 提出语义相似度指标（Sentence Similarity）替代传统BER	• 基于BERT嵌入的余弦相似度计算 • 在AWGN信道下实现0.92的语义相似度（传统方法0.68）
多场景适应性	• 引入深度迁移学习框架	• 微调时间减少70% • 支持跨领域知识迁移（如医疗文本→工业报告）

三、相关工作

本节简要回顾了 E2E 物理层通信系统和 NLP 中采用的深度神经网络 （DNN） 技术的相关工作。

A. 端到端物理层通信系统

DL 技术在处理各种智能任务（即计算机视觉和 NLP）方面显示出巨大的潜力。

创新	优点	缺点/限制
采用自编码器结构，去除块结构，联合优化E2E通信系统的发射器和接收器	在BER（误码率）上优于未编码的二进制相移键控BPSK和汉明编码BPSK	可能计算复杂度较高，依赖大量训练数据
基于DNN的两阶段训练：收发器由随机通道模型训练，接收器在真实通道下微调	自动学习编码器和解码器函数，性能媲美带MLD （最大似然解码）的汉明（7,4）编码	需要真实通道数据微调，可能受限于信道模型的准确性
利用强化学习获取未知信道模型下的信道梯度	在实际信道上性能优于DQPSK（差分正交相移键控）	训练过程可能不稳定，收敛速度较慢
应用条件GAN（生成对抗网络）建模信道失真，使梯度可通过未知信道反向传播至发射器DNN	支持E2E训练，适应未知信道条件	GAN训练可能难以收敛，对超参数敏感
元学习结合少量导频信号训练收发器	能以更少的数据量快速训练网络，适应新信道环境	对初始训练数据分布敏感，可能泛化能力有限
联合源-信道编码（文本[22]/图像[23]），采用WER（误字率）和PSNR（峰值信噪比）评估	更准确衡量源信息恢复性能，优化端到端通信质量	可能增加编解码复杂度，需权衡计算开销

B. 自然语言处理中的语义表示

NLP 使机器理解人类语言，主要目标是理解语法和文本。

（概率模型→静态词向量→动态深度学习→预训练模型）

创新	优点	缺点
基于联合概率模型的自然语言描述	能建模单词的上下文概率分布，描述句子中单词的局部依赖关系。	难以处理长句子（超过15个单词）和复杂语法结构。
Word2Vec 词向量	将语义相似的单词映射到向量空间中的邻近位置，捕获词间关系（如“国王-王后”）。	仅关注静态词义，无法捕捉语法信息（如词序、句法结构）和多义词现象。
深度学习文本表示（RNN/CNN等）	可提取长文本的深层语义和语法信息，解决传统模型对长序列的局限性。	计算复杂度高，且早期模型（如RNN）难以并行化，训练效率低。
深度语境化词表示	动态建模多义词的复杂特征（句法、语义及上下文变化），提升下游任务表现。	需针对不同任务调整模型结构，泛化性有限，无法直接跨任务复用。
BERT（双向Transformer编码器）	通用性强：提供预训练词向量，支持多种NLP任务迁移学习，无需任务特定设计。	计算资源消耗大，对短文本可能过拟合；模型参数量大，需海量数据训练。

C. 最先进的 NLP 技术的比较

NLP 任务使用的神经网络有三种类型，包括递归神经网络 （RNN）、卷积神经网络 （CNN） 和全连接神经网络 （FCN）。

神经网络类型	优点	缺点
RNN	语言模型可以学习整个句子并有效地捕获语法信息	（1）对长句的主语和谓语远距离依赖（超过10个单词）难以捕捉。 （2）线性序列结构导致缺乏并行计算能力，训练耗时较长。
CNN	天生具有并行计算能力，训练效率高	小尺寸卷积核难以捕获长句的全局语义信息，性能通常弱于RNN。
FCN结合注意力机制	（1） 兼具RNN的序列建模能力和CNN的并行计算优势。 （2）自注意力机制可处理任意长度句子，长距离依赖建模能力强。	（1）计算复杂度随序列长度平方增长。（2） 需要大量数据训练，可能过拟合。

四、系统模型和问题制定

1. 系统架构

层级	功能	噪声
语义层	• 语义信息提取与编码 • 上下文知识整合	语义噪声：由语言符号的歧义性产生
传输层	• 正确交换语义信息 • 抗物理信道损伤	物理噪声：由信道物理特性损伤

2. 通信流程

graph LR
    S[句子s] -->|语义编码| X[符号流x]
    X -->|具有传输损伤（如失真和噪声）的物理信道| Y[受损信号y]
    Y -->|联合解码| S_hat[估计句子sˆ]
    K[背景知识库] -->|上下文辅助| S
    K -->|误差校正| S_hat[估计句子sˆ]

 

3. 核心挑战与解决方案

挑战	传统通信缺陷	DeepSC创新方案
联合语义通道编码设计	语义/信道编码分离导致纠错能力受限	• 端到端联合训练 • 双目标优化： - 语义相似度最大化（CE损失） - 信道容量最大化（互信息）
语义保真传输	低BER仍可能丢失关键语义	• 句子级语义评估（BERT相似度） • 抗语义噪声的对抗训练

本文主要考虑 AWGN 信道和 Rayleigh 衰落信道，同时侧重于语义编码和解码。

Ⅰ. 信道编解码器设计

核心目标：通过最大化互信息优化通信系统容量，超越传统BER指标的限制。

互信息等效于边际概率和联合概率之间的 Kullback-Leibler （KL） 散度

Ⅱ. 性能指标

（1）BLEU Score:双语评估替补分数;用于评估机器翻译质量的自动量化指标，通过比较机器翻译结果与人工参考译文的n-gram匹配度来评分。

(2) Sentence Similarity:原句 s 和恢复的句子 ˆs 之间的句子相似度。

Ⅲ. DeepSC系统

Embedding Layer（嵌入层）是语义编码器的核心组件，负责将离散的文本符号转换为连续的向量表示

Dense Layer（全连接层）： 特征空间变换将高维语义嵌入（如768维BERT向量）压缩至适合信道传输的低维符号流（如64维复数星座点）

构建损失函数：第一项是考虑句子相似性的损失函数，旨在通过训练整个系统来最小化 s 和 sˆ 之间的语义差异。第二个是互信息的损失函数，它可以在发射机训练期间最大限度地提高实现的数据速率。

迁移学习：（a） 针对不同信道重新训练信道编码器和解码器;（b） 针对不同的背景知识重新训练语义编码器和解码器。

五、结论

在本文中，我们提出了一个名为 DeepSC 的语义通信系统，它共同执行文本传输的语义通道编码。

使用 DeepSC 时，输入文本和输出符号的长度是可变的，互信息被视为损失函数的一部分，以实现更高的数据速率。此外，采用深度迁移学习来满足不同的传输条件，并通过利用预训练模型中的知识来加速新网络的训练。此外，我们将句子相似度初始化为语义误差的新性能指标，这是一个更接近人类判断的指标。

仿真结果表明，DeepSC 的性能优于各种基准测试，尤其是在低 SNR 范围内。所提出的迁移学习辅助 DeepSC 已经显示出它能够以快速的收敛速度适应不同的渠道和知识。因此，我们提出的 DeepSC 是文本传输的良好候选者，尤其是在低 SNR 机制下，这对于需要大量设备与有限频谱资源连接的情况可能非常有用。

与传统通信系统对比

维度	传统通信系统	DeepSC语义通信
处理领域	熵域（比特级精确恢复）	语义域（含义提取与重构）
设计目标	最小化BER/SER	最大化任务完成度（如自动驾驶指令理解）
系统边界	物理层收发模块	端到全链路（语义输入→决策输出）
典型应用	语音通话/文件传输	物联网设备群控/远程医疗诊断

该体系为6G语义通信提供了理论基础，其迁移学习框架已被3GPP Release 19列为潜在技术选项。

说明：本文整理自IEEE Transactions on Signal Processing，原文链接如下

https://ieeexplore.ieee.org/document/9398576

[1]H. Xie, Z. Qin, G. Y. Li and B. -H. Juang, "Deep Learning Enabled Semantic Communication Systems," in IEEE Transactions on Signal Processing, vol. 69, pp. 2663-2675, 2021, doi: 10.1109/TSP.2021.3071210.
keywords: {Semantics;Communication systems;Receivers;Transmitters;Task analysis;Encoding;Training;Deep learning;end-to-end communication;semantic communication;transfer learning;Transformer}