语义通信论文略读（一）：Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges

原文链接：Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges.

摘要

原文内容：随着对智能服务需求的不断增长，6G无线网络将从只专注于高传输速率的传统架构转变为基于一切智能连接的新架构。语义通信（SemCom）是一种革命性的架构，将用户、应用需求和信息的意义集成到数据处理和传输中，有望成为6G新的核心范式。虽然SemCom有望超越经典的香农范式，但在实现支持SemCom的智能互联网的道路上，需要克服一些障碍。

文章一共分为六个部分：

1. SemCom在6G中使用的动机
2. SemCom相关理论发展
3. 三种SemCom的类型：面向语义的通信、面向目标的通信、语义感知通信
4. 通信系统设计的三个维度：SI提取、SI传输、SI度量
5. SemCom在6G中的潜在应用
6. 未来研究机会

部分缩略语句表示

缩写	全称	中文含义
SemCom	Semantic Communication	语义通信
SI	Semantic information	语义信息
SE	Semantic extraction	语义提取
DL	Deep learning	深度学习
RL	Reinforcement learning	强化学习
KG	Knoeledge graph	知识图谱

Ⅰ. INTRODUCTION

A、动机

目前通信主要是以内容为中心的数据驱动体系结构，即并不关注内容是什么，只关注是否将内容尽量完整或相对完整的传递到用户端。考虑到6G的新型应用将以个人为中心，终端用户需要更高质量的体验（QoE），一定会有大量数据需要传输，传统通信网络中延迟会显著增加。而SemCom识别和利用互联网通信中信息的意义，突破“香农陷阱”，使所有通信参与者在基于AI技术的数据预处理之后，向接收机发送最相关的信息或通信任务的目标来减轻网络负担。

B、关键贡献

比较了一些其他的综述，略过。

C、调查范围

如上图所示，第二节当中全面概述了语义信息理论，同事确定了SemCom的三类系统设计；在第三节到第五节当中分别讨论了SI提取、SI传输和SI指标中的最先进技术和剩余的挑战。在第六节当中介绍了SemCom在不同应用场景当中的可能作用以及北京邮电大学张平院士在文章中提到的框架在6G互联网中的实现。

Ⅱ. 语义通信的基本原理

A、SemCom相关理论

语言学侧重于符号的形式特征之间的相互关系，语义学专门研究不同层次上符号的含义。Weaver确定了一下三个层次的通信：

level A 通信符号的传输精度有多高（技术水平）
level B 所传输的符号如何准确的表达出所期望的意义（语义级别）
lecel C 所接受的意义如何以有效的方式影响行为（有效性水平）

B、SemCom系统设计

传统通信系统只达到技术水平，我们的调查中，我们根据SemCom的级别和作用，将SemCom的现有工作分为三类，即面向语义的沟通，目标导向的沟通和语义感知的沟通。通信模型的比较如下图所示。
(a)经典通信的系统模型；(b)面向语义通信的系统模型；(c )面向目标通信的系统模型；(d)用于语义感知通信的场景模型。

（1）面向语义的通信

如图(a)和图(b)所示，面向语义的通信系统的主要变化在于发送前和接收后的数据处理阶段。传统的源编码是一种将源数据转换为短代码的方法。同时，由于无视传输消息中的潜在含义，意味着它可以处理更多的源数据，这与CIT中的信息量化相一致。然而，在SemCom中，“信息”的定义需要修改。在SemCom中，编码之前引入了一个语义表示模块，该模块负责捕获源数据中嵌入的核心信息，并过滤出不必要的冗余信息。

在许多研究中，语义表示和语义编码的功能被集成到一个名为“语义编码”的模块当中。该模块在传统通信中共同发挥着类似于短代码的源化作用。同样，语义推理和语义解码的结合作用也等同于源解码。

在一般的SemCom场景当中，解码是编码的逆过程。由于SemCom的目标是使接收方能够成功推断出SI，以下图的运输系统的图像传输为例，传统方法中压缩图像并保留原始图像的所有细节，而面向语义的通信通过执行适当的图像处理技术，在传输前过滤出不同任务的无关图像细节，从而在不影响系统性能的情况下减轻网络负担。

此外，人对话需要彼此了解双方的语言和文化常识背景，SemCom也需要通信双方能够共享知识，以确保推理过程能够很好的匹配。如果局部知识不匹配，就会产生语义噪声。

（2）面向目标的通信

回想一下符号的三重定义，句法、语义学和语用学。下图说明了这三类信息之间的相互关系，假设一个源数据中的所有SI为全集，实用信息是被视为所有SI的一个子集，句法信息则被视为源数据，面向目标的通信只与某个沟通目标有关。

面向目标的通信与面向语义的通信的主要区别在于沟通任务的目标，以图像传输为例，不同人物所需要的图像特征（即SI）都是不同的，例如基于不同属性的分类、对不同目标的检测，因此面向目标的通信只需要传递目标任务所需要的SI。相比之下，面向语义的通信应该尽可能的包含所有任务所需要的SI，而这不可避免的导致信息冗余。
通过比较(c )面向目标通信的系统模型和(d)用于语义感知通信的场景模型，我们可以发现另一个差异是SemCom的输出。对于面向语义的通信，系统的输出是所传输消息的恢复意义，接收方根据接收到的消息进行下一步操作，面向目标的通信系统输出的是一个需要直接执行的操作。以上述的交通图像为例，面向语义通信的系统输出的是传输来的图像，面向目标的通信系统输出的是动作执行指令，目标导向的通信更注重在有限的网络资源下实现所期望的任务，而不是信息的传输。

此外，与语义导向的通信类似，所有沟通各方的局部知识和沟通目标都需要保持一致，否则，由此产生的语义噪声可能会导致任务失败。

（3）语义感知通信

本调查中的语义感知通信是指在任务导向通信中发挥作用的SemCom，如自动驾驶和无人机群。在语义感知通信中，这里的SI是通过分析执行任务时的代理行为和当前环境来获得的，而不是从数据源中提取它。换句话说，语义感知通信可以被视为一种任务的“开销”，以便更好地协作，以促进任务的完成。

例如在自动驾驶的场景中，SI可以表示两辆车发生碰撞的风险，这是由车辆的位置、运动学信息、交通密度、道路状况和佳通等的部署共同决定的。语义感知通信就是综合上述信息得到的综合性判断，但目前还有没有显示的收发器或者一个完整的成对的语义编码和解码的过程，因此还没有一个通用的语义感知系统模型。

Ⅲ、语义提取技术和挑战

A. DL-Based SE

（1）视觉数据的SE

文献1：Deep Learning-Constructed Joint Transmission-Recognition for Internet of Things

文章关注图像传输场景，其中物联网设备将图像传输到服务器进行识别，物联网设备维护一个到服务器的直接的点对点无线通信联络。与传统的多模块级联通信不同，这篇文章提出了一种名为JTRS的基于DL的联合传输识别方案，该方案采用了ResNet架构，将ResNet的深度神经网络（DNN）分为两部分，前几层在发射机上作为特征提取器，其余层在接收端作为识别器。此外为了实现在有噪声的信道中的自适应语义提取，DNN作为信道编码器和解码器，实现了联合语义-信道编码（JSCC）。然而该方案在设计时尽在特定的信噪比水平下运行，当信道条件发生变化时，SE模型需要进行再训练或改进，需要花费相当大的额外开销。

文献2：Wireless Image Transmission Using Deep Source Channel Coding With Attention Modules

为了填补SemCom与传统通信之间的差距，作者考虑了一个具有信噪比反馈的点对点图像传输系统，他们将注意力机制整合到SE当中，注意力机制严格筛选某些特征或者对不同特征分配不同的权重。在该设计当中，联合语义信道编码由一个单一的网络完成，该网络由两个模块组成：特征提取（FE）模块和注意力特征模块（AF），FE用于学习输入图像的特征，AF以FE模块的输出和信噪比作为输入，生成一系列缩放参数。

文献3：Robust semantic communications against semantic noise

本篇文章的作者主要研究了图像分类对于语义噪声的应用，利用图像数据的大量空间冗余性，他们提出了一种具有非对称编码器的体系结构的资源高效性SE模型。编码器采用了一个掩码自动编码器（MAE）与视觉变压器（ViT）架构。具体而言，在所提出的体系结构中，原始图像的一部分被掩盖，然后将未掩盖部分嵌入其在原始图像中的位置信息，随后提取图像特征。由于编码器只需要处理未被屏蔽的部分，大大减少了内存消耗。相反，解码器的输入是由未掩盖部分和掩盖部分的标记组成的完整集合，需要预测掩盖部分。与之前的SE模型不同的是，该架构中解码器可以独立于编码器进行设计，因为解码器只用于执行图像重建任务，这使得系统设计具有更大的灵活性。同时，MAE还可以抵御恶意攻击者，即通过在图像中添加语义噪声。由于MAE在编码过程中随机掩码图像的部分补丁，可以在一定程度上消除图像补丁中添加的语义噪声的影响。

（2）文本数据的SE

文献1：Deep learning for joint source channel coding of text

本篇文章的作者率先实现了用于文本传输的SemCom，单词使用了Glove变换为向量表示，使其可以成为提取SI的预训练查找表，编码器和解码器采用LSTM，在先前估计的嵌入向量作为下一步的输入和搜索算法找到的最有可能的单词序列。而像Glove或Word2Vec 这样的单词表示模型只捕捉了单词之间的关系，而不能描述语法信息。因此，该方法只能描述一个句子中某个词接一个词的概率，这使得处理复杂句子变得困难。

文献2：Learning semantics: An opportunity for effective 6G communications Transformer

Transformer可以有效可以有效的从整个句子中提取SI和语法信息，Transformer和多头注意力机制结合可以提取输入句子的多个特征，因此与LSTM等基于递归神经网络（RNN）的体系结构相比，Transformer网络不仅能够学习输入句子的长期依赖，并且实现了更低的计算复杂度和更并行的计算。

文献3、4：因此在最近的工作中[37]和[74]，Transformer取代了RNN，并将信道模型扩展到加性高斯白噪声（AWGN）信道和衰落信道。在他们的工作中，使用了更专业的语义度量，如BLEU和句子相似度（在第五节中介绍）来衡量SemCom的性能。该方案在低信噪比区域下在语义度量方面的优越性，证明了变压器在SE中对文本数据的有效性。

在句子当中有一些单词或短语在不同语境当中有不同的含义，然而标准Transformer具有固定的注意结构，它无差别对待所有的输入，因此限制了Transformer在学习过程当中的适应性。

文献5：Semantic communication with adaptive universal transformer

这篇文章的作者提出了一种基于Universal Transformer（UT）的方法，通过在Transformer当中引入一种自适应的循环机制来打破原有的固定结构。UT与自适应计算时间（ACT）模型集成，根据在每个步骤中预测的停止概率，动态的调整每个输入符号所需要的计算步骤。这种动态停止机制允许基于UT的SE为每个输入符号（即每个符号的自注意RNN）提供自己的循环机制进行循环，并通过不同的周期对不同的SI、不同的和不同的物理通道进行灵活响应。

（3）音频数据的SE

文献1：Federated learning for audio semantic communication

作者设计了一个基于DL的NLP模型，名为Wav2Vec。这个模型由两个级联卷积神经网络（CNNs）组成，分别称为FE和特征聚合器FA。FE负责从原始音频向量中提取粗糙的音频特征，FA负责将粗糙音频特征组合成一个包含更高级的潜在变量，其中包含上下文音频特征之间的语义关系。语义解码器也基于Wav2Vec架构，它由两个对称的cnn组成到编码器，分别称为特征分解器（FD）音频发生器（AG）。然而，由于SE模型的简单性，提取的SI有些限制。随着信噪比的增加，MSE没有明显的下降趋势。此外，与图像SE中使用的LSTM模型相似，SE模型是在一个信道系数固定的AWGN信道下训练的，这使得在更复杂的信道条件下保证良好的性能具有挑战性。

文献2、3：Semantic communications for speech signals
Semantic communication systems for speech transmission

与文本语义编码器的进化类似，Transformer也被集成到SE当中，编码器和解码器由一个或多个顺序连接的SE-ResNet模块构建。“SE-Resnet”中的术语“SE”表示挤压激励网络，它被视为一个独立的单元，用于为训练阶段与基本信息对应的权值分配高值。特别是，挤压操作是聚合每个输入特征的二维空间维数，激励操作是通过捕获相互依赖关系来学习和输出每个特征的注意因子。同时，采用残差网络来缓解由于网络深度而引起的梯度消失问题。仿真结果表明，与基于cnn的方法相比，方法在各种衰落信道和信噪比下具有更好的性能。然而，与基于cnn的SE模型相似，基于SE-resnet的模型仍然不能实现适应信道条件变化的动态SE。

文献4：Semantic communications for speech recognition

这篇文章主要关注了英语的语音识别任务，原始的语音样本序列在输入发射机之前被转换为一个频谱，根据单个语音样本序列的转录和频谱设计了编码器和解码器。该语义编码起由CNN和BiRNN模块构建，利用CNN进行数据压缩，利用BiRNN提取与文本相关的语义特征。信道编码和解码由Dense层执行，语义解码负责将恢复的文本相关语义特征解码成文本转录。与文本相关的语义特征被称为一个概率矩阵，即每个标记对应于每个字母的概率。考虑到英语字母中字母数量的有限性，语义解码器设计为贪婪解码器，对所有步骤的最大概率进行索引，并使用相应的标记构建最终转录。

通过仿真，与传统的通信系统相比，基于semcom的语音识别在低信噪比区域下实现了更低的字符错误率和字错误率。在传统的通信系统中，语音信号被直接传输，然后通过自动语音识别（ASR）模块在接收器上转录成文本，或者语音信号首先通过ASR模块在发送器上转录成文本，然后进行传输。然而，随着信噪比的增加，由于DL 产生的不可避免的误差下限，该算法的优越性逐渐减弱。

（4）多模态数据的SE

对多模态的研究主要集中在VQA问题上。在VQA任务中，一些用户传输图像，而另一些用户发送文本来询问图像的信息，答案是在接收方那里得到的。

文献1：Task-oriented semantic communications for multimodal data

这篇文章的作者以VQA任务为例，研究了一个用于多模态数据传输系统。他们考虑了一个与图像发射器、文本发射器和接收器之间的简单通信场景。与上述图像和文本工作类似，提出的图像发射机使用在ImageNet 上预训练的ResNet-101网络，提出的文本发射机使用Bi-LSTM网络。由于来自两个用户的SI是相关的，解码器需要合并文本和图像的SI，并回答视觉问题。作者次用了Memory、Attention和Composition（MAC）神经网络来处理相关单元，每个MAC由三个单元组成，控制单元首先由注意力模块从图像SI搜索相应的键（query），然后读取单元接收该查询，并由另一个注意模块从图像SI中搜索相应的键。最后，写入单元对这些信息进行集成，并输出对问题的预测答案。

与将恢复后的图像和文本输入到MAC的传统方法相比，该端到端方案获得了显著更高的回答精度。然而，由于缺乏注意机制，该方案假定了完美的信道状态信息，因此在现实环境中对信道变化没有鲁棒性。

文献2：Task-Oriented Multi-User Semantic Communications

不同于传统的Transformer，这边文章当中将每个编码器的输出层标记作为每个解码器层的输入，可以利用文本信息中的关键词和图像信息中对应的相应区域，然后融合这两个信息来得到答案。与文献1相比，该方案在完美和不完美信道状态下，信息都获得了相当的回答精度，且明显高出传统方法。然而。模型复杂度较高，时间和计算资源的消耗较大，特别是对于文本编码。同时，用于训练和测试的图像大小也很小。尚未验证该模型针对大尺寸图像的VQA性能是否优于传统方法。

B. RL-Based SE

RL不了解，文章看了但是没看懂，因此这部分不做介绍。

C. KB-Assisted SE（知识库辅助SE）

对于给定的原始数据，SI对于不同的通信目标可能是不同的，在如下图所示的图像传输过程中，接收机可能需要执行不同的任务，例如基于不同属性的分类，检测不同类型的目标或者简单的复制。从这个意义上说，应用于不同任务的SI是不同的，但是它们高度相关。因此，如果我们对多任务采用一般的基于dl的SE模型，那么提取的SI对于特定的任务可能是冗余的。为了解决这个问题，一个合适的方法是提取由原始数据所传递的所有SI单位，并将各个通信目标对应于不同的SI单位组合。为此，在发送任务请求之前，需要提前在发射机和接收机上建立一个共享的知识库。同时，SE的过程可以看作是细化每个SI单位到个体通信目标的重要性。

知识库是一种广泛应用于自动化人工智能的技术，一般来说，一个典型的知识库由一个计算本体、事实、规则和约束组成，特别是对于SemCom系统，知识库应该由SI、通信任务的目标以及所有通信参与者都可以理解、识别和学习的可能的推理方法组成。具体来说，知识库可以用来记录每个SI单元与每个任务之间的关系，并量化SI对不同任务的重要性水平，从而在通信任务发生变化时，指导不同信道条件下的SE。

文献1：Semantic communications with AI tasks

这篇文章首先设法建立了一个基于CNN的简单KB，用于图像分类任务，并完成了KB辅助的SE。在他们的工作中，CNN被视为一个SI生成器，其中每一层输出的特征映射表示源图像的SI的不同方面，如颜色、纹理。由于一个训练有素的CNN模型的参数可以识别出代表原始图像（即SI）的特征映射的最优形式，因此CNN输出的梯度可以被视为特征映射到不同类的重要性权值。因此，通过存储每个类的所有特征映射的重要性权值来建立知识库。接下来，基于知识库，语义编码可以通过细化与特定任务相关的SI来完成。此外，由于编码和解码是相互可逆的过程，因此该方案也以端到端的方式实现。

从这个意义上说，发射机和接收机中的KB都应该由权威第三方或虚拟KB上的共享KB进行同步。如果两侧的两个kb不匹配，则在SI推理过程中可能会产生语义噪声。它仍有增强的空间，如优化神经网络结构和损失函数。

在[102]、[103]、[104]对SemCom场景中语义知识库资源分配的研究中，还对知识库的知识库存储模型提出了一些思路。

在[102]中，提出了一个针对任务集的语义知识库的层次结构，其中SI的不可分割单位被称为信念。一个信念所属的层次越高，它所包含的SI就越多。对于所考虑的任务集中的一个任务，可能存在多个可行的语义表示（SRs），并且每个SR只包含来自层次结构[102]的每个层次的一个信念。然而，这种层次结构很难包含多重描述和一个任务之间的关系。此外，在层次结构中，对更高层次的信念完全依赖于对其先前层次的信念。因此，它不够灵活地能够表示属于不连续层次的几个信念的组合。首先利用句子的语法结构，根据句子的语法结构对文本传递的语义知识进行建模。在[103]，[104]书中，作者们首先利用句子的语法结构，根据句子的语法结构对文本传递的语义知识进行建模。在他们的工作中，以固定位长度编码的标记被视为顶点，两个标记之间的关系被反映在边缘上。然而，建模通用语义知识库的问题仍然存在。

D. 语义原生SE

上述三种SE方法都依赖于基于大量标记数据的训练良好的神经网络，这使得其工作仅适用于SI不变的通信系统。对于语义随时间或通信上下文变化的场景应将“被动学习”转化为“主动学习”。

事实上，已经有一些主要的研究符合上述思想，称为“emergent communication”（紧急通信），其中语义和面向的目标不是预定的，需要在多个智能体之间的迭代通信中学习。然而大多数工作只集中与一些简单而具体的特定人工智能任务，SE的完成可能是虚假的。

文献1：Semantics-Native Communication with Contextual Reasoning

这篇文章的作者重点关注了能够双向通信的两个智能体之间的点对点通信场景。在分析可靠性时，他们引入了如上图所示的语言学当中人类通信架构中的三角意义，语义三角形的顶点连接了观察输入、概念（或意义）和符号（或表示）三个空间。从输入到概念的边称为概念化，从概念到符号的边称为符号化，反方向则称为去概念化和去符号化。

在此基础上，他们提出了两个SemCom系统，分别称为系统1和系统2。系统1可以通过一个具有共享输入的三角形模型来总结，概念化过程可以解释为随机软决策或ML中决策的可能性，符号化的过程则是假设这些智能体之间预先已经确定。在系统2中，作者为每个智能体注入了上下文推理的过程。在语言学中，情景推理通常是会用理性言语行为模型进行计算描述。在该系统中情境推理相当于与虚拟智能体进行交流，虚拟智能体模拟其聆听者，从而使智能体能够基于推理进行有效和高效的交流。为了证明上下文推理的意义，作者将这两个系统抽象为随机模型，并用香农编码推导了两个系统中语义表示的位长。实验结果表明，语义表示的位长显著降低，且可靠性较高。

总结

Type	Description	Pros	Cons
DL-based SE	编码器和解码器通常是两个独立的模型，通过随机通道链接，这些通道联合训练。用于培训的数据集可以演做事它们共享的背景知识	在保持相关信息的同时实现较低的CR，在低信噪比区域中有显著优势，可以减少模拟传输中的处理延迟，不影响通信性能。	训练中引导学习的损失函数只能用于可微的MSE和CE
RL-based SE	是在基于DL的SE基础上开发的，解码的过程被转换为循环的过程。通过采用自我批评训练，不可微指标可以直接指导学习过程	在专业语义指标的指导下实现更精确的SE，由于 RL 的在线范例，与时间相关的指标（如 AoI）也可以整合到奖励中，以指导 SE；还具有基于 DL 的 SE 的优点	与 RL 环境的频繁交互大大增加了训练的复杂性；仅适用于序列生成任务如序列恢复
KB-assisted SE	KB 中存储了原始数据所传达的所有 SI 单位，以及每个 SI 单位对不同任务的重要性，这些在通信链路建立之前就已构建好。	-允许灵活、更精确的特定任务 SE；适用于具有多重目标的复杂通信场景；由于量化的数据大小和 SI 单位的重要性，为 SemCom 感知型资源分配奠定基础	仅适用于非实时按需服务；KB 的构建需要大量计算
Semantic-native SE	它将 “被动学习 ”转变为 “主动学习”，通过交流双方的互动和反馈来学习 SI 和背景知识，而不依赖于现有的数据库。	适应通信环境和目标的变化，减少人工干预；无需实时共享背景知识；学习过程中可考虑信道状态和 QoS 要求等其他特征	训练过程耗时，需要大量计算资源；难以确保训练的一致性

E. 一些特定的SE

上述四种SE方法可以应用到不同场景下面向语义和面向目标的通信系统，然而在语义感知通信当中，目前还没有一种通用的SE方法。

在本小节中，我们首先给出两个如下图所示的典型例子来说明将语义意识引入通信的动机，以及SE在语义感知通信中的作用。
左图的文章：Semantic-aware collaborative deep reinforcement learning over wireless cellular networks
右图的文章：Attention-based Reinforcement Learning for Real-Time UAV Semantic Communication

如左图(a)所示的联邦DRL任务，其中多个异构代理（agent）在一个中央控制器的协调下以协作的方式参与模型训练。需要训练的代理称为目标代理，帮助目标代理进行训练的代理称为元代理。SemCom在构建一个记录所有代理之间的相似性的知识图谱当中发挥了作用，在知识图谱的基础上，策略行的选择一个具有高相似性的元代理来促进目标代理的训练。在上述论文当中，语义相关性可以度量潜在学习任务的相似性。通过仿真，通过与均匀或随机资源块分配的比较，证明了语义感知CDRL方案在带宽受限的无线网络上的良好性能。

在右图(b)的例子当中，作者主要关注非地面超可靠和低延迟通信（URLLC），其中无人机群采用集中训练和分散执行多智能体深度强化学习为移动的地面用户服务，同时还要避免无人机之间的碰撞。在这篇论文的工作当中，SemCom并不是直接用于提高URLLC的性能，而是被用于集成到无人机之间的可微代理间学习（DIAL）中，以避免无人机之间的碰撞。在传统的DIAL中，代理交换它们各自的可观察状态，然后这些状态被视为其参与者模型的输入。然后再训练过程中，将原始状态数据逐步转换为有意义的信息，以便以更好的方式进行代理间协作。然而，从零开始的训练可能是不够的。为此，作者在交换信息之前对可观测状态执行SE。具体地说，每个无人机n构造一个局部星形拓扑图，其中叶节点都是其可观测无人机。步骤t步无人机m的SI记录为对应边的权值（即图(b)中的¯nt，m），反映了无人机n动作时对无人机m的注意程度。考虑到无人机在避碰方面应相互同等注意，基于两个输入的RNN，导出了无人机n对无人机m的关注。一是无人机n基于自注意机制从无人机m的可观测状态中提取的注意特征。另一个是由无人机m发送给无人机n的最后一步关于无人机n的SI。从仿真结果中可以看出，用SI作为参与者模型的输入，而不是原始状态数据，可以显著提高训练效率。

F. 经验教训总结

（1）基于DL的SE的经验教训

注意力机制在捕获输入的长期依赖性具有优越性能，基于DL的SE的优点是可以从整个原始数据中提取重要信息，然后再不同的层中进行重新聚合和重新提取，从而有效去除冗余信息，从这个意义上说，与传统编码和解码相比，基于DL的SE可以在不丢失相关信息的情况下实现更低的CR。因此在低信噪比区域下，基于DL的SemCom的优越性能更为显著。此外，通过训练良好的端到端SE模型，基于DL的SemCom在模拟通信中取得了良好的性能，由于没有量化和复杂的调制过程，如16-QAM和QPSK，在传输前的数据处理延迟可以显著减少，这显示了其低延迟通信的潜力。

然而DL技术有一个固有的弱点。即不可避免的误差下限。因此，在理想的信道条件下，基于DL的SemCom与传统的通信相比往往是次优的。因此，如何克服高信噪比区域下的性能瓶颈值得进一步研究。此外，在端到端训练过程中，通过收发器的反向传播需要DL范式中的损失函数是可微的 ，从这个意义上说，上述研究仍然应用DL中常见的损失函数（交叉熵和均方误差）来训练神经网络，这使得现有的工作远离期望的SemCom。（个人不是很懂怎么是远离期望，中间的逻辑链条是什么？）

换句话说，上述所有架构都仅仅实现了语义编码，以实现可靠而高效的传输。对于这种端到端架构，由于语义编码器和通道编码器和解码器需要联合训练，因此SE和恢复被视为一个黑盒。由于可用的基于dl的SE缺乏可解释性和可解释性，提取的SI的信息量难以测量，如何进行相关的改进也不清楚。

（2）基于RL的SE的经验教训

基于rl的SE的主要区别在于将整个句子的解码转换为循环过程。即基于rl的解码器的输出是单个字，并且被解码的字是下一个要被解码的字的输入。这种循环过程可以在训练过程中加强对句子中单词之间相关性的学习，从而允许解码策略学习不可微语义度量函数的相关特征。此外，由于RL可以被视为一个在线范式，除了基于错误的度量外，其他一些度量，如基于AOI的度量和传输延迟也可以集成到奖励中，这是基于RL的SE方法的另一个有前途的优势。

此外，通过与环境的交互来学习最优策略，不可避免地增加了训练的复杂性。从头开始训练高维任务中如此复杂的模型仍然是一个关键的挑战。在上述工作中，初始参数被利用了在确定性损失函数上具有随机梯度下降的预训练模型。仿真结果表明，基于非差分语义度量优化的RL基SemCom算法与基于dl的算法相比，在中间信噪比区域的准确率提高了3%。然而，对于像Transformer这样更复杂的语言模型，基于RL的SE是否仍然可行，还需要进一步的探索和研究

（3）基于知识库辅助的SE的经验教训

知识库目前主要依赖DL模型，知识库辅助的SE要求在建立通信链路的双方之间进行良好的构建和同步，这使得它仅适合非实时的按需服务。构建一个复杂的知识库是一项计算更加密集的任务。这意味着知识库不能经常更新，因此这种方法更适用于数据源稳定的场景。
此外，如前所述，通过在SE中引入通信目标，kb辅助的SE可以在两个方面提高多任务系统的效率。

• 通过在每次传输中灵活地提取与特定任务相关的SI来提高通信效率
• 通过避免原始数据的重复SE来提高计算效率。

不同于传统通信中中所有的数据包都被平等的处理，知识库的构建时每个SI单元的大小和重要性可以记录在KB模型中，因此每个SI单元的半通信感知资源分配可以使用不同的服务质量（QoS）要求，如延迟和可靠性，这个特性可以为具有多任务的复杂SemCom场景的资源分配奠定了基础。

然而，语义知识库的构建严重依赖于SE模型的可解释性，大多数可用的SE模型都具有黑盒的性质。为此，提高SE的可解释性是打破现有SemCom研究瓶颈的关键。

（4）语义原生的SE的经验教训

通过比较总结部分的表格的四种SE方法，语义原生SE与人类会话交流的方式最为相似，前三种SE方法要求在进行SE模型训练和确定之前，将发射机和接收机的背景知识完全同步，例如，语义编码器和解码器是基于统一数据集进行训练。相比之下，语义原生SE放松了这种约束，对主体的语境推理更像是在与一个陌生人的对话中捕捉和推断一个人的思维方式的过程。随着沟通方变得“熟悉”，代理的背景知识逐渐收敛。

毫无疑问，语义原生SemCom系统具有高度的灵活性和适应性，更面向智能自主的6G网络。然而，上述分析同样仅基于一个具有代表性的模型。将它付诸实践仍然是一个巨大的挑战。

（5）特定具体的SE的经验教训

从上述讨论的两个多智能体协作任务的例子中，可以看到SemCom在上述任务重只能促进合作和间接提高任务效率。与面向语义和面向目标的通信相比，语义感知通信中的SE并不是源代理直接生成的原始数据执行。通过分析任务本身的性质和代理的行为，得到了合作的相关SI。这使得SE的过程必须定制，很难找到一个通用和统一的方法。然而，很明显，语义感知通信将在面向任务的通信中发挥重要作用，因为交换SI 可以增强代理之间的知识，以实现更好的协作。此外，一个高效的SE可以大大减少代理之间的通信开销。

Ⅳ 语义信息的传递和挑战

本节中讨论的重点从语义化转移到与通信相关的挑战和技术。下面，如图10所示，我们讨论了SemCom中与无线环境、有限的网络资源和异构网络相关的挑战和技术。

虽然传统的系统和SemCom系统使用不同的方法对信息进行编码和解码，但它们都面临着相同的通信约束，如不可预测的信道条件、有限的传输和处理资源。然而，与以往在传统通信系统中的工作不同，SemCom的解决方案需要解决现代通信系统中的新挑战。

A、无线环境

无论是在传统的通信中还是在SemCom中，无线信道的衰落小应对数据传输的稳定性有很大的负面影响。为了减轻衰落信道的负面影响，传统的通信系统精心设计了源码和信道编码方案。具体来说，源码编码将数据编码为一个长度优化的符号序列，信道编码将冗余符号添加到序列中，以检测和恢复无线传输过程中的数据损坏。在SemCom系统中，在人工智能的帮助下，源代码和信道编码可以更紧密的连接起来。联合设计和训练源和信道编码有利于基于DL的通信系统的数据传输。

然而，基于人工智能的方法目前还不能用显式的数学表达式来解释。为了克服这一障碍，SemCom的系统设计者必须考虑如何在复杂的和不断变化的无线环境和复杂的SemCom机制之间建立联系，从而获得指导系统设计的见解。

（1）不同的衰减信道

现有的端到端结构的SemCom系统中，大多以两种方式对信道层进行建模：使用无线通信中使用的衰落模型的固定信道层和使用神经网络的生成信道层。

• 固定信道层建模方案：信道层被建模为一个固定的衰落模型，在整个训练过程中都在使用。可以使用dropout来表示通信系统的擦除信道，对于对于未被量化或二值化的输入，需要考虑通信信道，如AWGN、瑞利信道和Rician信道。这样做的缺陷是在训练过程中性能评估是在相同的信道条件下进行的，没有考虑到无线环境的变化会导致信道环境改变。如果SemCom模型在一定的衰落信道下进行训练，那么针对每个可能的信道条件对模型进行再训练并将所有这些模型加载到发射机和接收机是不现实的。
• 生成式信道层建模方案：现有的工作中采用的典型生成网络是GAN。为了生成特定类别的数据，提出了条件GAN。条件GAN可以建模信道条件，同时提供了来自发射机的导频信息和编码信号，并产生与真实数据相似的输出信号。实验表明生成信道建模方案提高了训练模型对无线环境的适应性，但比固定信道层建模方案需要跟过的训练开销。
• 两种建模方案的融合：在论文Deep Learning Based Communication Over the Air中提出了一种两阶段的训练策略来适应真实的信道。在第一阶段，用合适的信道模型进行训练，获得合理精度的模型参数。在第二阶段中，接收器在实际的信道上进行了微调。微调的自动编码器不断实现比自动编码器更低的BLER。然而，如何在不同的无线环境中选择最优的训练解决方案仍然是一个有待解决的问题。

（2）不确定的信噪比

无线环境的影响主要是来自信道模型的选择，信噪比的不确定性来自于噪声和干扰的影响以及发射功率的变化。由于SemCom模型的训练通常使用固定信噪比方法，因此我们需要考虑信噪比的变化是否会对性能产生负面影响。

虽然SemCom不断比传统通信系统取得更高的性能，但两者在低信噪比区域的性能都较差。由于低信噪比环境在蜂窝边缘、购物中心或郊区很常见，因此当信噪比较低、解码信号的精度降低时，我们需要考虑SemCom的性能。

[136]的作者提出一种信噪比自适应机制，在该模型中，信噪比是由接收机处的一个导频信号来估计的，然后将估计的信噪比值扩展到与信道输出特征图相同大小的信噪比图。信噪比和信道输出特征图相加之前都要经过一个CNN层。

结果发现，与采用固定信噪比训练的模型相比，采用该信噪比自适应机制训练的模型在高信噪比区域与低信噪比区域之间的PSNR间隙较小。通过在译码过程中考虑信噪比信息，该模型对信噪比具有较高的适应性。

另一种提高SemCom模型鲁棒性的方法是根据不同的信噪比值来缩放信道特征，而不是添加信噪比值。Wireless Image Transmission Using Deep Source Channel Coding With Attention Modules中提出的训练方法采用了信道级软注意，其中每个信道特征乘以一个比例因子。为了获得比例因子，将信噪比值与从输入图像中提取的上下文信息向量连接，并输入两个完全连接的层。输出向量中的每个元素都是一个特征通道的缩放因子。结果表明，在软注意机制的帮助下，该模型比使用基本深度的基线模型可以获得更高的PSNR。

然而，这两种解决方案都是为了解决特定的通信问题。对于广义SemCom系统，如何确保训练后的语义模型能够适应变量信噪比的问题仍在等待更好的答案。语义模型的泛化能力的边界有待进一步研究。

（3）比特误差纠错

受传统通信系统重纠错算法的启发，例如在Deep Source-Channel Coding for Sentence Semantic Transmission With HARQ使用混合自动重复请求（HARQ）来减少语义文本传输的传输错误。如果接收到的代码有不可纠正的错误，则请求重新传输。这篇文章的作者开发了语义编码模型，然后通过联合设计心愿信道联合编码和HARQ进一步提高了性能。

B、有限的网络资源

传统听新系统中的资源分配框架的目标是最小化注入误码率、分组误码率和中断概率等指标。然而，SemCom更重视这些位流背后的信息，这促使我们为SemCom系统开发新的资源分配框架。通常，在设计资源分配方案时，应考虑到QoS和QoE，QoS旨在优化传输速率、延迟和吞吐量，而QoE则关注用户满意度、清晰度和流畅性。

（1）带宽资源

由于带宽资源对于任何通信系统来说都是宝贵的，因此实现SemCom需要有效的带宽分配，以提高系统的整体性能。与传统通信中的带宽资源分配不同，在SemCom中应该考虑到SI的不均匀分布，即应该将更多的带宽分配给SI更多的数据/代理。

在Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks中设计了一种CDRL算法，其中多个代理可以在无线网络上协调，共享他们的策略，并协作学习各自任务的最佳策略。但是，由于带宽有限，需要培训的代理（目标代理）只能与有限数量的代理（源代理）进行协作。因此，用于识别最有用的代理指标对于有效的资源分配非常重要。

然而，将带宽的动态分配与语义内容传输相结合的问题尚未得到充分的研究。在一些不需要训练的SemCom系统中，带宽分配方案需要被设计成为更重要的传输内容分配更多的带宽，以确保信息质量。

（2）能源资源

除了带宽资源的分配外，能源资源的分配也是一个重要的问题。分配更多的能量来传输包含更丰富的SI的数据，确保了能源的有效利用。此外，语义度量还可以用来确定所收集的能量的质量，这有助于建立一个高效的网络市场。

C、异构网络设备

对于SemCom网络，无线通信层对系统性能的影响比端到端传统通信层更大。由于许多异构设备在一个SemCom网络中工作，设备硬件和无线环境的差异给系统建设带来了挑战。

（1）设备容量

为了实现SemCom系统，大多数现有的方法都是涉及在发射器和接收器中分别安装编码器和解码器。虽然基于dl的自动编码器系统可以帮助有效地从原始数据中提取有意义的语义信息，但其实现的成本并不便宜。特别是，在培训过程中需要更多的计算能力和通信资源。研究表明，用正确的技术扩展深度神经网络几乎总是能带来更好的性能。但是，扩展模型会增加存储需求，以存储更多的模型参数。在现实中，通信设备的计算能力、通信资源和存储容量都很有限。特别是在SemCom网络中，假设所有设备都有足够的容量是不现实的。因此，在SemCom网络中，开发有效的方法来平衡异构设备的性能和成本需求是一个重要的挑战。
一部分研究人员试验了模型压缩来减小模型的大小，基于模型剪枝的思想，将不太显著的模型权值归为零。然后对修剪后的模型进行微调，以恢复模型的性能。

（2）物联网设备之间的链接

对于包含多个智能设备的SemCom网络，我们需要根据不同设备的不同无线链路环境来设计网络。一种解决方案是在训练过程中将无线链路视为智能代理。

Video Semantics based Resource Allocation Algorithm for Spectrum Multiplexing Scenarios in Vehicular Networks
作者提出了一种用于车辆网络频谱复用场景中语义视频传输的资源分配算法。在该算法中，通过多智能体深度Q-network优化了视频传输的语义理解精度。在网络中，车辆到基础设施（V2I）链路和车辆到车辆（V2V）链路是代理。根据对环境状态的观察，如资源块下的信道增益和干扰功率，代理选择重用频谱资源块。然后，代理根据V2I平均目标检测精度和V2V平均传输率获得奖励。仿真结果表明，在相同的频谱和传输功率下，该网络比基于QoS和QoE的资源分配框架不断获得更高的视频语义理解精度，正确检测对象的密度提高高达70%。

但是目前仍然存在当信道模型不可用时，监督学习就缺少反馈链接。为了解决这个问题，一些研究者提出元学习方法，即“学习到学习”，是指学习接收器中的自适应模块。元学习方法首先在训练阶段自适应规则。在元训练阶段，接受者将接受元训练，根据物理信道的输出更新解码器的参数。才测试阶段，接收方将使用训练好的自适应规则来自优化模型参数。仿真结果表明，当在测试阶段发射机发送多个导频帧时，元训练模型可以实现比常规训练模型更低的BLER。

（3）编码和解码方案

Rethinking Modern Communication from Semantic Coding to Semantic Communication
作者提出了一种考虑到不同信道状态的自监督机制，允许对消息进行多次编码和解码，直到满足停止标准为止。对于每个编码/解码周期，编码/解码的信息将通过一个置信度机制进行评估，以确定其语义置信度。如果编码/解码的信息达到预定义的置信阈值，编码器/解码器将释放下一个过程的信息。另一个停止标准是当编码/解码的周期长度达到预定义的最大周期长度时。通过蒸馏和置信机制，编码器和解码器可以以自监督的方式对编码和解码的信息进行微调，而不管信道如何。

D、经验教训总结

（1）无线环境

SemCom存在一定的特殊性，不同位对原始数据的重要性不同，为传统通信系统设计的方案不能直接使用，但存在很大的借鉴意义。例如端到端的语义模型训练要求系统设计者使用神经网络层来模拟无线衰落信道。与在传统通信系统的性能分析中使用固定信道模型相比，这种包含多种经典信道的广义衰落信道可以带来更多的见解。同样，生成通道层的引入可以为语义模型的训练提供更多的自由。

（2）有限网络资源

不同于只考虑位传输的传统通信不同，SemCom中资源分配的目的是确保与任务相关的语义信息的准确传输。因此，语义信息的考虑为6G网络资源分配方案设计提供了新的视角。这种新颖的设计需要对任务需求进行深入的分析和联合优化设计，以提高系统的性能。正如我们在上面所讨论的，一些文献已经试图使用语义信息来指导资源分配过程，但这种范式的转变仍为进一步的研究留下了很大的空间。

（3）异构网络设备

网络的异构性主要体现在两个方面：设备容量的差异和设备通信环境的差异。
如果在训练语义模型时不考虑网络设备的异构性，则训练后的模型不能直接传递到每个设备，为高性能设备训练的语义模型可能无法部署到小容量的设备。此外，此外，端到端语义模型还受到收发信机设备之间的无线信道质量的影响。因此，通信渠道的差异也会影响语义模型的部署。此外，作为语码通信网络的重要组成部分，在设计编译码方案时，还需要仔细考虑设备异构性的影响。

Ⅴ、语义性能度量和挑战

网络性能度量的选择一直是世代网络设计和优化的核心问题。在传统的通信系统中，由于传输和数据的SI的分离以及实现特定目标的有效性，通信性能倾向于分别通过BER、QoS和QoE等指标从不同的网络层进行评估。而在SemCom中，层间耦合在很大程度上增强了。因此，在实践中实现SemCom之前，必须确定根据语义来评估通信性能的新方法。现有的SemCom评估主要集中在语义错误、AoI和VoI上。接下来，我们将详细介绍如图11所示的三种基本度量类型及其相关的组合形式，并讨论剩余的相关问题。

A、基于错误的语义度量

不同于传统通信的BER和SER的指标，SemCom中基于错误的指标关心发射器的意义是否等同于其目的地所理解的意义，即所谓的语义相似性。此外，可用的语义度量指标都是特定于任务的，而且目前还没有一个针对不同类型的嵌入通用的度量。

（1）文本数据的语义度量

文本传递中的语义相似性通常是指哼歌句子所表达的意义的确切程度。为了在数学上量化相似性，一些研究人员在NLP中采用了一些开创性的工作：

• BLEU：最初BLEU是一种自动评估机器翻译的方法，BLEU用于比较候选词的n-gram与参考翻译的n-gram，并计算匹配数，整个句子的BLEU是计算为所有大小的gram的精度分数和一个简洁的惩罚（BP）的总和的乘积。BP是由候选（恢复）和参考（传递）句子的长度决定的。候选句与参考句的比较时间越长，BLEU得分就越低。
• CIDEr：CIDEr被提出作为中图像描述质量的自动共识度量，它最初用于衡量生成的句子与人类所写的一组地面真实句子的相似性。因此，它也可以用作文本传输的语义度量。与BLEU相似，两个句子之间的相似性是根据其中给出的n-gram的集合来计算的。不同之处在于，在CIDEr中，不仅仅考虑一个参考句，而是一组参考句。在计算句子相似度时，它考虑了候选句子与参考集中所有语义相似的句子之间的相似度。
• 句子相似性：句子相似度是一种基于变压器的双向编码器表示的新度量。BERT是一种最先进的微调词表示模型，它使用了一个巨大的预训练模型，其中包括数十亿个用于提取SI的参数。通过数十亿句句子，SI提取的性能已经在[147]中得到了证明。为此，基于BERT提取的语义特征的余弦相似度，直接计算句子相似度。

尽管BLEU和CIDEr认为一些语言法律，如语义一致的单词通常聚集在一个给定的语料库，他们仍然在计算单词的两个句子之间的差异，没有洞察整个句子的意义。从这个意义上说，句子相似度的度量更接近于期望的SemCom范式，因为训练有素的BERT模型对多义词很敏感，这使得它可以在句子水平上提取信息。
另一方面，这些度量标准的不可微性降低了它们的实用性，因为它们不能适用于基于DL的SE，而且基于RL的SE的计算复杂性是相当大的。因此，即使提出了BLEU和句子相似性，但在基于DL的SemCom系统中的训练管道仍然采用CE损失。此外，对于句子相似性，预先训练的BERT网络嵌入在训练过程中引入了更多的资源消耗，使得在其他任务中难以泛化。

（2）音频数据的语义度量

对于用于音频传输的SemCom，语义相似性可以通过接收机很容易地理解已解码的音频信号来解释。

• SDR：SDR最初是根据信噪比的通常定义定义的，在一些研究中中它作为恢复的信号作为性能度量引入SemCom，用传输的语音信号与ˆs之间的L2误差表示。与MSE相比，在SDR中s和ˆs之间的差异的排序行为更为显著。此外，高性能值的测量数值精度低于低性能值的测量精度，对测量方法的设计更加直观。然而，在语义意识方面，SDR并没有超越MSE。
• PESQ：PESQ是一种专门的质量评估模型，设计用于在更广泛的网络条件下的语音使用，已被标准化为推荐ITUT P.862。它结合了知觉语音质量测量系统（PSQM）和知觉分析测量系统（PAMS）。PESQ的基本PESQ图如图12所示。与上述简单比较两种信号之间差异的指标不同，PESQ假设人类感知中的记忆较短，这使得它更类似于人类行为。但是，该方法仍然只关注传输的准确性，而不是关注语义意义，因此不能为语义压缩提供有效的指导。

简而言之，上述任何方法都没有在语义理解级别上评估性能。此外，在现有工作中，DL的SE中只使用MSE度量。SemCom到目前为止还只达到了语义编码的级别。在音频SemCom领域，在文本传输中的BERT和BLEU等具有语义理解的语义测量仍有待研究。

（3）可视化数据的语义度量

对于视觉数据的通信，目前还没有类似于人类感知的一般语义度量。SemCom中视觉数据中常用的度量仍然是浅函数（不知道什么是shallow function），如传统通信中使用的PSNR 和结构相似度指数SSIM。
与文本和音频数据相比，语义相似性更依赖于上下文，同时，与文本和音频数据相似，视觉数据的相似性判断也必须依赖于高阶结构。为此，基于DL的特征捕获可以被认为是评估图像语义相似度的一种潜在方法。近年来，在高级图像分类任务上训练的深度卷积网络的内部激活通常被认为是一种有效的各种任务的表征空间。
然而，如何利用这种方法进行SemCom的性能评估还需要进一步的探索。除了仅旨在确保视觉数据保真度的图像传输外，还有许多新兴的视觉通信用于对象识别等特定任务和属性分类，其中任务执行的准确性可以直接表征SemCom的有效性。

B、基于AoI的语义度量

通信中的语义信息与其他领域例如语义网络、语义分割等的区别主要在于它强调时间敏感性。该特性为语义信息的准确性引入了新的维度，即正确的时间。
基于AoI的度量被用来量化在目的地接收到信息的“年龄”，包的“年龄”被定义为当前时间和包的时间戳之间的差值，它不活了监视器接收到的数据的不新鲜程度。在传统的内容盲通信范式中，系统只是追求尽可能快地发送更新，并确保最小的传输延迟，这会占用很多的带宽资源。此外，如果不能保证延迟QoS，通信系统中数据包的积压会限制更新，并导致监视器具有不必要的过时的状态信息。这些问题可以通过基于AoI最小化的调度方案来解决。这是由于在调度过程中，新的数据可以得到更大的重要性和优先传输。
基于aoi的度量标准仍然存在固有的缺陷，即它们忽略了恢复的数据的有效性。例如，在某些情况下，监视器只关注源[169]处的异常和突然状态。由于AoI没有考虑其监视器的当前状态的值，因此一些无用的更新会被传输到监视器上，这也会导致一定数量的资源浪费。

C、基于VoI的语义度量

VoI被定义为决策者愿意为考虑信息的支付的价格。对于传统的通信，VoI可以被定义为从具有成功传输的源的信息集中获得的不确定性减少的度量。相反，对于特定任务的通信，需要重新定义。与只关注永恒而忽略内容的AoI不同，VoI主要是用来衡量一条信息与沟通任务的相关性。换句话说，VoI可以看作是SI对有效性的量化贡献。
以远程温度控制系统为例，在这种情况下，中央控制器不关心源的实时温度变化，该系统的目标仅仅是确保控制器对任何异常的温度反应迅速，从这个意义来讲，异常的温度应该分配更高的VoI。然而，对于一般的任务，VoI很难被量化为通信前的AoI，因为VoI在很大程度上是由通信环境中多个因素的组合决定的。因此，可用的基于VoI的指标稀缺，而基于VoI的调度或资源分配方案只执行简单的任务，如异常监测。

D、组合语义度量

在理想的SemCom系统中，组合指标有望在资源分配中发挥作用，以指导不相关信息的过滤，提高系统的效率和性能。然而，这一想法只在最简单的基于拉力的系统中被探索过，原因是SI的量化尚未实现，而且最基于错误的度量和基于VoI的度量在传输前难以估计。

文献1：The Age of Incorrect Information: An Enabler of Semantics-Empowered Communication
这篇文章将AoI集成到基于错误的度量标准中，提出一个新的度量标准，称为错误信息的年龄（AoII）。AoII描述了一个不准确状态的延长对语义恢复的影响，与上述基于错误和基于AoI的度量标准相比，AoII通过联合考虑内容和及时性，结合了更有意义的语义。具体来说，AoII不仅考虑了瞬态对总体沟通目标的影响，而且还考虑了持续时间不同的影响。例如对于视频传输，长时间错误突发的影响要比瞬时错误突发严重得多。

文献2：Freshness on Demand: Optimizing Age of Information for the Query Process
这篇文章将VoI集成到基于AoI的度量中，提出一种新的度量称为查询信息年龄（QAoI），反应了接收方实际需要数据时实例的新鲜度。在该系统重，信息尽在特定的查询时刻对接收方有效。从这个意义上说，通信应该是查询驱动的，也就是说，发送器知道查询实例，并根据查询过程的时间来优化传输。因此，基于查询驱动的QAoI的调度方案比基于查询盲的系统在查询实例之前发送。

E、总结

名称	定义	优点	缺点
BLEU	它用于将候选人不同大小的词组与参考翻译的词组进行比较，并计算匹配的次数。	它考虑了语言规律，语义一致的词语通常会出现在特定的语料库中。	它只计算两个句子之间的词汇差别，对整个句子的意义没有洞察力。
CIDEr	CIDEr最初用于测量生成的句子与一组人类真实句子之间的相似性。	与与 BLEU 相比，它不是根据参考句子来评估语义相似性，而是根据意义相同的一组句子来评估语义相似性。	与BLEU相似，它也是基于比较结果是词组，语义相似度只停留在单词级别。
句子相似度	句子相似度是通过变换器双向编码器表示法（BERT）从不同句子中提取的语义特征的余弦相似度来计算的。	由于 BERT 对多义词的敏感性，本指标所考虑的 SI 是从句子层面来看的。	BERT 是一个庞大的预训练模型，在训练过程中会消耗大量资源，而且很难在其他任务中推广使用。
SDR	SDR 用传输音频信号和恢复音频信号之间的 L2 误差来表示。	高性能数值的 SDR 数值精度低于低性能数值的 SDR 数值精度	SDR 无法捕捉到语音信号的隐蔽性，在语义认知方面没有比 MSE 更进一步。
PESQ	PESQ是一种专门的质量评估模型，用于在更广泛的网络条件下使用语音。	不是直接比较两种符号之间的差异。	PESO 仍侧重于传输精度，因此无法为语义压缩提供有效指导。

Ⅵ. 未来6G互联网

A、SemCom在6G中的潜在应用

（1）智慧运输系统

近年来，随着车辆和车辆基础设施硬件的发展，车辆可以被视为智能代理，具有更大的计算、缓存和数据存储能力。这为未来的6G智能交通系统（ITS）铺平了道路，其中自动驾驶和合作车辆网络可以实现不需要人类参与的情况。在大多数现有的工程中，为了提高安全性，改善辅助驾驶决策，或管理车辆，车辆和道路的基本信息，如位置、制动强度、坑和坑，需要定期广播。这种针对不同情况的无区别的车辆通信会影响通信的有效性和效率。为此，SemCom有巨大的潜力使其更智能。

在ITS中，SemCom最直接的应用是从原始传感器数据中提取基本的语义信息，如车辆运动学信息、道路状况和交通标志（如图4所示）。例如，有许多情况，如人的突然出现和在车辆前发生的突然碰撞，对车辆驾驶有类似的影响。因此，通过提取特定情况下的SI（即量化每种情况对驾驶的影响），由于数据量的减少，可以大大提高传输的准确性和及时性。
除了对数据本身的压缩外，如在第V-B节中所讨论的，数据采样的时间点在SE中也是至关重要的。例如，当车辆沿着每个方向有足够长的能见度范围或足够的观看时间时，它可以根据自己的本地情况做出驾驶决策。在这种情况下，不需要频繁地交换有关其他车辆的驾驶信息。相反，如果车辆的可见持续时间很短，那么当车辆获得视力时，它可能没有足够的信息或时间来做出正确的反应。在这种情况下，信息交流需要更加及时。更具体地说，有关安全的基本信息，如制动强度，应给予更高的优先级。

（2）基于分布式学习的应用程序

联邦学习已经成为保护隐私的机器学习的主导范例。由于深度神经网络通常包含数百万个权重参数，终端和服务器之间的频繁交换会导致昂贵的通信开销，这给通信网络带来了挑战，特别是对于不确定的无线环境和有限的无线资源。
SemCom可以通过两种方式减少不必要的通信开销，从而在有限的无线资源下提高性能。首先，模型参数和梯度可以以语义感知的方式进行压缩，如梯度稀疏化和模型参数剪枝，其中考虑到参数的语义或对模型精度和收敛速度的重要性，提取原始模型参数的一个子集。例如，在中，采用梯度稀疏化来压缩发射机处的模型，将除k个元素外的所有元素设置为零。由于只发送非零元件的位置，接收机可以通过先进的噪声测量，以更可靠的方式恢复接收到的数据。其次，根据第三节-E中语义感知通信的两个例子，分布式学习中的代理可以通过SemCom交换自己的语义特征，以增强彼此的知识。语义特征可以从他们的学习模型、可观察环境、任务等中提取出来。基于小数据量的语义特征，可以找到最优的语义相关代理子集。因此，可以有效地减少无关代理之间具有大数据量的模型交换。

（3）无人驾驶飞行器

无人机的能量限制阻碍了它们促进长期通信的能力。同时，无人机群导航中的碰撞问题也是无人机网络研究中的一个关键问题。
由于SemCom可以减少需要传输的信息量，因此在无人机之间可以实现一个有效的通信框架。除了传统的中继功能外，无人机还可以作为语义编码器和/或解码器进行部署。例如，当收发方由于内存或计算能力不足而无法启用SemCom时，无人机可以进行编码或解码，在不影响通信性能的情况下减少某个链路的数据量。当然，这需要无人机了解通信双方的背景知识。这也为通信、计算和缓存资源的联合优化提出了新的挑战。

（4）扩展现实

6G网络技术的进步为下一代互联网服务提供了技术支持。特别是，通过扩展现实（XR）同步物理世界和虚拟世界的可能性导致了元宇宙的诞生，它被称为互联网的继承者。XR的性能在很大程度上依赖于数据的收集和处理，这些数据反映或描述了人类的运动和周围环境的变化，例如，移动渲染的目标，显示特定的视频，并给出相应的触觉反馈。为了保证用户获得理想的沉浸式元宇宙服务体验，必须严格满足的端到端延迟和数据速率要求。
在SemCom范式中，由终端设备跟踪的数据，如头部运动、手臂摆动、手势和语音，需要首先用语义进行提取。这允许终端设备在理解和过滤出不相关的信息后，传输XR服务器相关的信息进行操作，以节省XR服务器的带宽和减少计算延迟。同时，XR服务器也可以根据用户的偏好提取SI，在面对带宽限制时忽略不相关的细节，从而降低下行压力。

B. SemCom-授权的6G架构

这个没太看懂，所以暂时搁置。

Ⅶ. 未来方向

A. SE的可解释性

通信环境总是经历着各种各样的不确定性，使得SE模型在实践中对不确定输入对应的输出不可预测，限制了SE模型的社会接受度和实用性，几乎没有作为SE模型优化的依据。可用的SE模型很少或没有理解如何以及为什么隐藏层的内部状态和特性有助于一个给定的例子产生决策或结果。

B. SE精度和通信开销之间的权衡

现有的大部分工作都集中在如何执行准确的SE，以节省无线电资源和提高通信性能，而忽略了SE的额外的通信开销。事实上，SE模型的训练和更新需要大量的额外资源。例如，精确的语义提取模型的训练依赖于一个完整的包含发送者和接收者的知识库，这首先需要足够的存储资源。此外，随着通信上下文的发展，每个用户的本地知识库都在不断地单独更新。从这个意义上说，确保所有通信参与者的本地数据库的更新能够实时共享是极具挑战性的，特别是对于大量参与用户地理位置较远的情况，这可能会导致巨大的通信开销。此外，在理想的情况下，需要在KB更新后立即对SE模型进行再培训或微调。然而，这对于计算资源有限的实际系统来说是不现实的。因此，在SE精度和通信过度之间进行良好的权衡对于SemCom的实现是必要的。

C. SemCom和语义缓存的组合

在传统通信中，在路由器、MEC服务器、基站等上实现数据缓存已经证明在避免[203]不必要的延迟和网络开销方面有很大的好处。通过联合优化缓存和通信，缓存命中增加1%，感知延迟减少了35%的。然而，传统的原始数据缓存已经不再适合于SemCom系统，因为对原始数据的频繁和重复的语义提取会导致系统的冗余和低效率。同时，提取的SI的数据量比原始数据要小得多。从这个意义上说，适合于SemCom的语义缓存策略不仅可以提高系统效率，而且还可以节省内存资源。
然而，语义缓存出现了新的问题。传统的数据缓存主要关注数据内容的命中率，语义缓存更关心的是请求者是否能够准确地推断出缓存中的SI。因为对于相同的数据内容可能有多个SI，所以缓存哪个数据内容需要更多的先验知识，比如特定SI的流行程度。此外，随着SemCom的环境不断变化，SI的寿命越来越难以确定。为此，它还需要新的估计刷新算法。

D. 隐式推理

SemCom之前的大部分研究都集中在转移显式SI上，例如可以直接从源信号中识别出来的事物的标签，如图像、声音和文本。然而，用户之间的交流不仅局限于外显性信息，而且还包含了难以表达、难以识别、难以恢复的丰富隐式信息。例如，在节目中，一个孩子给她父亲发一条语音信息，问她：“什么是推特？”这条信息的主要语义部分是“Tweety”，可以用几种方式来解释，比如智能手机应用程序、金丝雀或卡通电视节目中的角色。因此，为了推断出消息的确切含义，接收者必须能够从发射器的上下文和背景中推断出隐含的信息。因此，假设目标用户有一个定义良好的解析表达式，如奖励函数或效用函数，它被直接优化以最大限度地理解语义意义是不现实的。

E. 信道管理中的人工智能

在SemCom中，人工智能更经常被部署在发射机和接收机上，用于编码和解码，以服务于上层应用程序。然而，在具有更高的数据速率和更频繁的切换的6G无线通信中，信道建模变得比传统的随机或确定性方法更加复杂。这促使我们思考是否可以将人工智能引入到SemCom信道层，来帮助建模、估计和改变信道条件。与简单地将人工智能应用于端到端SemCom模型训练不同，新的智能材料的开发使人工智能在无线信道中有了更多的自由。

• 用时两周，终于完成任务
• 碎碎念：累了累了
• 纠错或者交流可以发送至邮箱：2546863956@qq.com