语义通信Semantic Communications Overview, Open Issues, and Future Research Directions综述阅读

论文：《Semantic Communications: Overview, Open Issues, and Future Research Directions》

作者：Xuewen Luo, Hsiao-Hwa Chen, and Qing Guo

发布会议：IEEE Wireless Communications • February 2022

发布时间：2022.2

一. INTRODUCTION

        传统通信可以分为三个层次：

• 最下面一层的是技术层面，由香农的经典信息论定义，主要研究如何将符号（比特）准确有效地从发射器传输到接收器。
• 中间层，即语义层，数据的语义信息被提取出来并通过语义信道进行传输。
• 上层，即有效性层，则负责提供下两层所需的通信效率。

        而语义通信（Semantic Communications）其不是一种安全通道方案，而是作为一种智能通信方案被提出，它关注的是传输信息的意义，而不是准确的比特流传输。

       语义通信的核心是在发送方提取发送信息的 “含义”，并借助发送方和接收方之间匹配的知识库（KB），在接收方成功 “解释 ”语义信息。因此，语义通信本质上是一种主要基于人工智能的通信方案。在语义通信中，即使接收者所理解的词组稍有变化，接收者仍然可以理解。

        而在传统通信系统中，由于信道噪声和干扰导致传输符号（比特）失真，接收到的信息会令人困惑。因此，尽管语义通信系统中可能存在语法错误匹配，但并不存在语义错误。此外，它还表明，在带宽有限或信噪比（SNR）相对较低的情况下，语义通信系统仍可能表现出色，并可能消耗较少的能量。

语义通信的关键术语：

• 语法（Syntax）：一套规范特定语言句子结构的规则、原则和过程（如词序）。
• 一词多义（Polysemy）：可用于（在不同语境中）表达两种或两种以上不同含义的单个词或短语。
• 同义词（Synonym）：与同一语言中的另一个词或短语含义完全相同或几乎相同的词或短语。
• 方言（Dialect）：指一种语言的变体，为某一特定语言使用者群体所共有。

二. 语义通信和传统通信的区别

        语义通信的基本思想是从信息源提取发送信息的 “含义 ”或 “特征”，并在目的地 “解释 ”语义信息。

1. 语义源与目的地

        传统通信系统中的数据由信源编码器压缩，并在信道编码器中添加冗余，以提高其对信道干扰/噪声的鲁棒性。在目的地，将进行反向处理以恢复最初发送的数据。

        语义通信系统是一个复杂的系统。语义源和目的地都是代理，它们不仅需要执行传统通信终端的功能，还需要执行各种高度智能的算法。(语义通信系统中的代理可以是人类、机器或其他具有智能的设备)。此外，语义源和目的地可以感知环境并自主运行。语义源能够提取原始信息的语义特征，并将这些特征编码成符号（比特）进行传输。目的地应能 “理解 ”和推断语义源发送的信息。

2. 语义信道的误差

与传统信道只包含物理信道不同，语义通信还包含语义信道。

在语义通信中有两种噪声：

• 第一种是物理信道噪声，它普遍存在于无线通信中，由物理信道损伤引起，如加性白高斯噪声（AWGN）、信道衰落、多路径传播等。信道传播造成的误差通常发生在信道解码之前，可以通过信道解码进行纠正。此外，来自不同用户的共信道干扰也不容忽视。
• 第二类噪声是语义噪声，它出现在信息解释过程中，是由于发送信息中使用的词、句子或符号存在歧义

对于语义信道的误差来说：

• 在语义层面，语义错误可能是语义源和目的地使用的背景知识库（KB）不匹配造成的。
• 在技术层面（如图 1 所示），由于物理信道中的噪声或干扰，语义错误可能来自传输过程中的符号或比特错误，而这些由语义噪声和信道传播引起的错误很难区分。

3. 源信道编码和解码

        在传统无线通信中，数据应先通过源编码进行压缩，然后再通过信道编码来消除信道损伤，目的是在每个处理块中实现最佳传输性能。

        在语义通信中，语义编码不仅在源头尽可能压缩数据，而且还提取数据的含义及其语义特征。语义编码的目标有两个，即最大限度地提高对所观察世界的预期忠实度，以及最大限度地减少需要传输的数据量。语义特征应通过物理信道传输，并应添加信道编码以提高鲁棒性。

        语义编码（解码）和信道编码（解码）可以通过深度神经网络（DNN）来实现。在这种系统中，语义源和目的地是自动编码器和自动解码器，共同完成语义编码（解码）和信道编码（解码）

4. 背景知识库（KB）

        与传统通信不同，语义通信的另一个重要特征是语义通信系统是一个基于知识的系统。这意味着语义源和目的地可以像人脑一样，通过自学建立自己的背景知识库（KB），从而构成语义通信系统的核心。知识库是语义源和目的地先前观察到的世界模型。语义源根据自己的知识库提取信息的语义信息。

        对于知识库的构建来说，基于 DL 的 NLP 和图像处理技术已经成熟，大多数文献只关注基于文本或图像的语义通信。

•         知识库可以从感知的环境中学习，并通过培训和通信共享不断扩展和更新知识。
•         语义源和目的地的知识库可能不同。
•         语义源和目的地可以共享彼此的知识库，以尽量减少语义不匹配。

5. 性能指标

文本：对于语义通信中的文本信息，其性能可以通过发送的单词或句子与解释的单词或句子之间的相似度来衡量。（相似度可以用语义距离来衡量）。平均语义失真或错误被定义为以概率表示的平均语义距离，它由词的概率和在发送信息的条件下接收到错误含义的条件概率统计表示。另一个常用的测量方法是双语评估（BLEU）得分，它测量解码文本与原始文本之间的相似度。（这是测量句子间的相似度）

图片：图像语义通信系统的性能可以用峰值信噪比（PSNR）来衡量，即最大信号与噪声功率之比。均方误差（MSE）越小，PSNR 就越大，图像的重建质量就越好。对于图像识别而言，识别准确率是图像语义通信系统中联合传输-识别方案的衡量标准[10]。

语音（研究较少）：信号失真率（SDR）被用来衡量原始语音矢量和重组语音序列之间的误差，SDR 越高，表明重建的语音信号越容易理解。另一个良好指标是语音失真感知评估（PESQ）。

三. 语义通信概述

语义通信系统模型，包括 E2E 语义通信系统和多用户语义通信系统。

1. 端到端语义通信（End-to-End Semantic Communications）

        如图三所示为一个基于深度学习的语义通信模型。语义编码器（解码器）和信道编码器（解码器）由 DNN 实现。在给定的静态源 KB 和目标 KB 以及通信环境下，语义编码器（解码器）和信道编码器（解码器）通过随机梯度下降（SGD）算法进行联合训练。

        图 3 中的黄色和蓝色图块分别表示动态通信环境中的编码器和解码器训练及 KB 更新过程。如果通信环境发生变化，则应使用新的信道模型重新训练信道编码器和解码器，而语义编码器和解码器的参数则保持不变。由于动态通信环境和知识库的扩展/更新，迁移学习是一种有效且高效的编码器（解码器）训练方法，因为 DNN 具有灵活的结构。

根据传输语义信息的不同类型（包括文本、图像和语音）对语义通信进行概述：

Ⅰ. 文本：

        保留两个词之间语义相似性的直观方法是为它们分配相似的索引。语义相似的词用较短的汉明（Hamming）距离编码，语义独立的词（即差异最大的编码词）用最长的汉明距离编码，这就是语义索引分配问题。这样，尽管存在信道噪声和干扰，接收器通过反索引赋值重建的词语与语义源传输的词语具有非常接近的语义相似性。

        当单词数量有限时，语义索引赋值是区分语义相似单词和语义独立单词的好方法。然而，编码词的长度与词的数量成指数比例，这使得分配过程极其耗时和复杂。

        最近，基于文本的语义通信提出了一种 JSCC 方案，其中编码器和解码器由两个递归神经网络（RNNs）实现，信道由一个剔除层表示。

Ⅱ. 图像：

        基于图像的语义通信系统与基于文本的语义通信系统的结构几乎相同。两者最大的区别在于 DNN 的结构。

        E. Bourtsoulatze, D. Burth Kurka, and D. Gündüz, “Deep Joint Source-Channel Coding for Wireless Image Transmission,”  提出了一种基于 CNN 的 E2E JSCC 方案，用于在 AWGN 和 Rayleigh 信道中传输高分辨率图像。

        由于视频文件是由不同的图像帧组成的，因此图像语义通信系统基本上可以通过提取每个帧的特征来传输视频，因此在图像特征提取和识别中使用了密集层、卷积层和 ResNet。

Ⅲ.语音：

        基于先进的 NLP 技术，可以有效地将语音翻译成文本，然后将文本传输为语义通信。语音信号更为复杂，处理难度更大，因为其质量不仅涉及语音信号的保真度和响度，还涉及其频率和音调。（情绪！！！！）。

        Z. Weng, Z. Qin, and G. Y. Li, “Semantic Communications for Speech Signals利用注意力机制挤压激励（SE）网络来捕捉语音信号的不完美和非线性。

        目前对多模态的语音通信系统研究较少。（语义目的地可能会从信息源接收到不同类型的信息）。

2. 多用户语义通信（Multi-User Semantic Communications）

        在语义通信系统中由于 KB 的多样性，多用户信号可以使用相同的信道资源（如频率或时隙）进行传输。这样就可以节省带宽，提高频谱效率。然而，多用户信号检测和接收器解释过程的复杂性是关键问题。

        提出一种基于智能无线电（IR）的多用户语义通信系统结构体系。

IR 中的接收器可以估计每个用户的信道状态信息（CSI），并通过训练智能多用户信号检测 DNN 来分离多用户信号。然后，可通过信道解码和语义解码对分离的信号进行解码。此外，由于 MIMO 的空间分集增益，在发射机和接收机上配备多个天线，可利用波束成形和预编码技术来增强语义通信系统中的多用户信号传输。

3. 语义通信用例（Use Cases of Semantic Communications）

语义通信的三种可能用例：物联网、智能互联车辆网络、智能工厂

Ⅰ. 物联网

        物联网面临的挑战：

•         物联网设备传输的数据大多具有时间敏感性，可能不需要很高的数据传输速率，但需要低延迟和高精度。
•         由于计算和存储能力有限，物联网设备无法搭载复杂的 DNN，如何训练语义编码器（解码器）和信道编码器（解码器）是物联网网络中的关键问题。

        解决方法：

•         可以借助网络稀疏化和量化来实现模型压缩，简化DNN网络。
•         联合学习（FL）和分布式学习也是高效训练基于 DL 的语义通信系统的另一种选择。联合学习中的 DNN 模型可针对大量物联网设备进行联合训练，训练过程可由云/边缘服务器协调。

Ⅱ. 智能互联车辆网络

        在这种网络中，车辆可以感知环境中的信息，并预测其行驶轨迹、交通流量、网络拥堵情况、CSI 等。

        智能互联车辆网络的挑战：

•         上传到路边设备（RSU）或云/边缘服务器的剩余数据量可能非常大，因此上传延迟应尽可能短。
•         数据可靠性需要保障。
•         在基于设备到设备（D2D）的车载通信中，车辆通常以底层方式与蜂窝用户共享无线电资源，这可能会造成严重的同信道干扰。

        解决方法（语义通信的优点）：

•         基于 DL 的语义通信有助于压缩和提取语义信息，从而降低延迟，因此语义通信适用于 ICV 网络中大量数据的低延迟传输。
•         语义信息比传统通信中的比特流更能抵御信道噪声和干扰，从而提高数据传输的可靠性，改善 ICV 网络中的驾驶和道路安全。
•         在语义通信中，由于知识库的多样性，只要接收器能理解传输信息的含义，这种干扰就能降到最低。

Ⅲ. 智能工厂

        智能工厂面临的问题：        

•         在未来的智能工厂中，无人管理、实时控制和监控是机器设备运行的重要特征。
•         控制机器运行以执行特定操作。
•         ICV 网络和工业互联网都非常重视可靠性。

        解决方法：

•         监控信息的语义特征，如机器状态、温度、湿度等，可被提取并上传到中央控制器或云/边缘服务器，以分析物料状态和产品质量。
•         语义控制是实现以目标为中心的通信的一种有效方式，即向机器传达控制信号的语义信息
•         可以通过语义通信中的信道编码和解码来确保可靠性，在语义通信中引入结构化冗余来提高对信道干扰/噪声的鲁棒性，从而提高通信可靠性。

四. 未决问题（未来发展方向）

1. 语义通信理论研究不足。

• 语义信道联合编码设计缺乏理论指导。
• 需要对干扰信道下的 SIT 进行更多研究，并对语义信道及其容量等进行具体定义
• 对语意信道及其容量等进行具体定义。
• 尤其是在基于 DL 的框架下的语义通信方面，研究不够充分。应探索基于DL的语义通信系统的总体框架。

2. 语义源和目的地不一致的KB

在语义通信中，语义源和目的地的知识库通常是不一致的。

如何在不一致的知识库中交流、共享和推断语义信息，是语义通信中的一个广泛议题。

3. 多用户解释算法设计

在多用户环境中，接收器进行语义信息解释的复杂度非常高，因为它必须同时考虑多用户检测、信道解码和语义解码。

此外，接收器的 KB 还应包括不同类型的数据，以区分多个用户的信息。

应设计更有效、更高效的解释算法，对目标用户进行语义-信道联合解码。

4. 语义通信的效率

语义通信中的有效性水平负责无线电资源管理。

尽管传统通信系统在无线电资源管理（RRM）方面做了很多工作，但它们在语义通信中的有效性仍有待验证，与传统通信系统进行更多比较对于语义通信的实际应用非常重要。

5. 实施语义通信

更多的理论研究肯定有助于推动语义通信系统的真正实施，因为语义通信理论上的不完整性可能会限制其实施。

在现有通信技术已经非常成熟的情况下，我们是否真的需要语义通信仍然是业界和学术界的一个疑问。

支持 DL 的语义通信系统的研究不仅受到语义理论的限制，还受到人工智能硬件的限制。

基于这些 SoC 开发基于 DL 的 E2E 语义通信系统是一个巨大的挑战。

五. 总结

        本文概述了最近报道的基于特征提取的语义通信工程，这些工程与未来的智能通信息相关。语义通信在通信信道、信源和信道编码（解码）方案、性能指标等许多方面都与传统通信有很大不同。此外，E2E 语义通信系统的设计与传输的信息类型有关，因此源编码器（解码器）和信道编码器（解码器）的 DNN 结构也会有很大不同。会议特别讨论了物联网网络、ICV 网络和智能工厂中的使用案例，以便在这些网络中实现语义通信。此外，还总结了语义通信的开放性问题，强调了语义通信在理论研究和实际应用中面临的挑战。总之，语义通信必将在 5G 之后基于人工智能的未来通信技术发展中发挥重要作用。