语义通信论文阅读记录（八）

语义认知网络设计与优化

Imitation Learning-based Implicit Semantic-aware Communication Networks: Multi-layer Representation and Collaborative Reasoning

贡献1：提出可以在多层云/边缘计算网络中实现的架构，其中多层云数据中心 （CDC） 和边缘服务器可以协作并支持多个最终用户的高效语义编码、解码和隐式语义解释。

 新颖的隐式语义表示解决方案：我们提出了一种新的语义多层表示，包括三个关键要素：显式语义、隐式语义和用户相关的语义推理机制。为了提高语义的通信效率，我们将消息的丰富语义转换为 3 个低维语义星座表示序列，这些星座表示对物理信道传输非常有效

我们考虑一个多层云/边缘网络，该网络由部署在 CDC 和用户之间的许多边缘服务器组成，如图 1 所示。边缘服务器集可以根据其服务类型、覆盖范围以及与所服务用户的相对距离分为不同的层级。

（1） CDC：对应于一个集中式 CDC，为所有用户提供全球可访问的计算和存储资源。CDC 还可以在全球范围内维护一个共享语义知识库，由积累的知识实体（例如事实、术语、概念和对象）和可能的关系（例如实体之间的关系）组成。通常，全球共享知识库中的实体和关系可以对应于与区域或本地特定知识无关的高级共同共享事实。

（2） 中端边缘服务器：对应于为覆盖区域内的用户提供区域可访问的计算和存储资源的边缘服务器。同样，每个中端边缘服务器也可以维护一个区域共享的知识库，该知识库由区域相关和首选的知识事实、关系、习俗、机制等组成。

（3） 低端边缘服务器：是本地边缘服务器，每个服务器都为本地用户提供本地可访问的计算和存储资源。每个本地边缘服务器还有一个本地知识库，该知识库可以存储一些本地共享甚至个性化的知识，包括个性化和基于体验的知识，例如，对与一个或有限数量的个人用户相关的知识概念和关系的偏见理解。

（4） 用户：对应于试图相互传达其语义含义的信息源用户和目标用户。我们假设每个源用户都可以观察过去的通信历史，并提取一组语义推理轨迹，包括全球、区域、本地共享和/甚至私人访问的语义知识信息。然后，源用户将使用这些观察到的语义推理轨迹（称为专家推理路径）来指导不同层级的 CDC 和边缘服务器训练语义编码、解码和解释模型。

贡献2：我们引入了一种新的语义信息的多层表示，同时考虑了隐式语义的层次结构以及个人用户的个性化推理偏好。我们将语义推理过程建模为强化学习过程，然后提出一种基于模仿的语义推理机制学习 （iRML） 解决方案，以学习模仿源用户推理行为的推理策略。

提出了一种新的基于模仿的推理机制学习解决方案 iRML，允许边缘服务器和 CDC 向用户学习，并训练语义推理机制模型来模仿源用户的推理行为。为了解决模仿学习的 Wrong-Posted 问题，我们采用最大因果熵原理将 Wrong-Posting 问题转化为强凸优化问题。然后，我们证明，在这种情况下，每个边缘服务器都可以训练一种独特的语义推理机制，其生成的解释与源用户观察到的专家推理路径之间的语义距离最小

首先，知识图谱只能表示一组完整的已知实体和关系，因此不能表示消息的隐含含义。其次，大多数现有的知识图谱都是基于语言学家精心编制的全球共享词典中记录的事实和知识信息构建的。它不能反映用户对推理的局部偏好或一些个性化的理解，例如，基于个人经验的偏见知识。换句话说，应用单个知识图谱来同时包含全球共享的知识以及个人用户的一些区域共享或私有信息是具有挑战性的。最后，一些消息可能包含与跨多个 CDC 和/或边缘服务器部署的多个分散知识库相关的知识概念和关系。这使得跨多个知识库进行联合语义推理和解释变得困难，而不会造成私人信息泄露。认知神经科学最近的研究报告称，人类用户的语义认知过程可以看作是一个多层语义推理和因果推理过程，称为分层推理 [17]，由认知过程的最高层的多个抽象层组成

 Inferred （Implicit） Semantics）：对应于隐含的知识组件，包括与消息的语义含义密切相关的隐藏实体和关系。由于人类用户倾向于从他们密切相关的概念和关系中推断出隐含的知识成分，因此我们将语义的推理过程建模为一个顺序决策过程，它一次从显式语义集 v E 中扩展一个语义关系或实体。例如，在 t 个顺序推理过程之后，从可见实体 e0 延伸的推断语义路径由 pt = he0， r1， e1， r2， e2， . . ， rt， eti 给出，其中 e0 ∈ e E 是在源信号中标识的可见实体，r1、e1、r2 和 e2 是从 e0 延伸的隐式语义实体和关系。由于消息的语义可以根据各种抽象级别的实体和关系来推断，因此我们使用 PL，请注意，从显式语义扩展到知识实体和关系的第 l 抽象级别的路径集。由于在本文中，我们主要关注最小化消息的语义歧义（相对详细的含义），因此我们只考虑任何给定实体在其下层的语义推理，即，对于第 l 层实体 e0，它只会推断出等于或低于第 l 层的层中的隐式语义。假设 L 抽象层从 1 到 L 从最高到最低排名。每个实体 e0 将在抽象层 l， l + 1， . . . ， L 中生成 （L − l + 1） 路径，例如，我们可以将从 e0 生成的推理路径集写成 p （L） （e0） = {p i （e0）}i∈{l,...,L}。  即我们可以将推理机制写成π ： v E → p （L） 。在本文中，我们假设所有到达用户的通信信息都是由一种未知的、未观察到的推理机制生成的，称为专家推理机制。然后，我们专注于开发解决方案，以学习一种估计的推理机制，以从过去通信历史中观察到的一组推理轨迹中模仿真正的专家推理机制。

基于统计的语义距离 （Distance-I）：专家路径和推断路径之间的语义距离可以通过它们的统计差异来衡量。例如，假设专家路径和解释路径的所有有效占用度量的集合分别由 ∆E 和 ∆D 给出，如果我们采用交叉熵（测量统计差异的最常用指标之一），则语义距离可以写为

解释：编写生成专家路径的推理策略 πE 作为映射函数，将推理路径的最后一个实体映射到下一个可能的隐藏关系，即 πE ： pt → rt+1 for t = 0， 1， . . . .我们将推理策略 πE 的占用度量定义为：当用户根据策略 πE 推断隐式语义时，观察到一组关系 r 被添加到一组路径 p 中的概率，即，我们可以将策略 πE 的占用度量写为 cπE （r， p） = πE （r， p） Pr （p|πE），其中 πE （r， p） 是根据策略 πE 确定的路径 p 下选择关系 r 的概率。如果我们假设推理过程遵循马尔可夫属性，即当前关系 r 的选择仅取决于先前观察到或推断的实体 e，我们可以将策略 πE 的占用度量改写为。我们可以观察到，对于任何给定的显式语义，生成的语义推理路径可以完全由推理策略确定，推理路径的最大长度约束为 J。换句话说，原意和解释意义之间的语义距离实际上是源用户和目标用户的推理机制之间的差异，其特征是他们生成路径的占用度量。设 πD 为目标用户学习的推理机制。设 qπE 和 pπD 分别是专家推理机制的推理机制生成的路径，以及目标用户基于我们提出的解决方案学习的推理机制生成的路径。

基于能量的语义距离 （Distance-II）：我们还考虑了一种基于能量的解决方案，首先将推理轨迹的高维图形表示投影到一个称为语义空间的低维空间中，其中两个语义含义之间的差异与它们的欧几里得距离成正比

 优化目标：最小化隐性语义与显性语义的欧氏距离：

贡献3：提出一种基于联邦图卷积网络 （GCN） 的协同推理解决方案，允许多个边缘服务器联合构建基于去中心化语义消息的共享语义解释模型

 新的基于多层协作推理的语义解释解决方案：我们提出了一种基于联邦 GCN 的方法，允许同一层边缘服务器协作训练基于分散知识数据集的共享语义解释模型。我们的方法不需要任何边缘服务器公开其本地知识信息。我们提供了协作训练过程收敛率的理论界限，并量化了知识数据集的分散分布造成的性能损失

（模型）训练阶段和（语义）通信阶段。在训练阶段，每个源到目标用户对都协助 CDC 和边缘服务器训练语义编码和解释模型。

源用户将首先从专家推理路径中识别一些初始实体和/或关系，作为要发送到靠近目标用户的边缘服务器上的语义解释器的显式语义。

然后，目标用户的语义解释器将生成一组可能的语义推理路径，并将其发送回源用户边缘服务器的语义评估器。

然后，源用户将语义解释器生成的路径与专家推理路径进行比较，并将语义距离的值反馈给语义解释器。上述过程将重复，直到语义解释器收敛到固定策略，并且源用户的语义评估器无法区分语义解释器生成的路径和专家推理路径。

边缘服务器还将训练一个语义编码器，将显式语义实体和关系的高维表示转换为一组对物理通道传输高效的低维语义表示。在语义通信阶段，经过训练的语义编码器将被加载到源用户进行消息编码。同样，为了训练语义解码器，目标用户将从通道接收到的低维语义信号的嘈杂版本上传到边缘服务器。然后，边缘服务器可以计算出一个解码函数，该函数可以恢复源用户的语义。语义解码器也将在训练短语结束时加载到目标用户。请注意，在语义感知通信系统的训练过程中，目标用户的语义解释器使用显式语义的 noisy 版本作为输入，然后可以根据 noisy 语义输出推断出的隐式语义。换句话说，如果目标用户通过高 SNR 通道（例如有线连接）与边缘服务器的语义解释器进行通信，我们可以忽略连接边缘服务器和用户的通道的噪音。但是，如果目标用户通过无线信道连接边缘服务器，则到达边缘服务器的信号将包括源用户和目标用户之间的信道中的噪声，以及连接目标用户和边缘服务器的噪声。

模仿学习，逆强化学习部分待阅读

Cognitive Semantic Communication Systems Driven by Knowledge Graph: Principle, Implementation, and Performance Evaluation

本文充分利用了 KG 的优势，提出了两种认知 SemCom 系统。此外，在我们提出的系统中，利用基于 KG 的显式语义推理技术通过在接收者处使用推理规则纠正语义错误来增强语义传输。从这个意义上说，我们提出的认知 SemCom 系统可以归类为通过显式推理范式实现的面向语义的通信。值得注意的是，与传统的 SemCom 系统不同，在传统的 SemCom 系统中，发射器发送语义信息的抽象，接收器利用数据驱动的方法解释其含义，我们提出的认知 SemCom 系统具有“认知”特征，这是由 KG 实现的。在所提出的系统中，语义信息不需要完全传递，只需要重要的语义信息（如三元组，即 head 实体、relation 和 tail 实体）

认知通信框架：利用知识图谱 （KG） 来开发 SemCom 系统。针对单用户和多用户通信场景，提出了两种认知语义通信框架。

语义矫正：提出了一种简单、通用、可解释的语义信息检测语义对齐算法。通过从 KG 中挖掘推理规则，提出了一种有效的语义校正算法。

多用户：预训练模型经过微调以恢复语义信息。针对多用户认知 SemCom 系统，提出了一种消息恢复算法，通过匹配目标的知识层次和上下文来区分不同用户的消息。

预训练模型进行了微调以恢复语义信息，这克服了使用固定位长编码来编码不同长度的句子的缺点。

针对多用户认知语义系统提出了一种消息恢复算法，通过匹配目标处的知识层次和上下文来区分不同用户的消息。

 知识图谱：知识图谱作为认知 SemCom 的核心，是一个以图的形式揭示实体之间关系的语义网络 [20]。它通常由三元组（头实体、关系实体和尾实体）组成[21]。一个三元组以 （h， r， t） 的形式捐赠，其中 h、r 和 t 分别表示 KG 的头实体、关系实体和尾部实体。h、t ∈ E 和 r ∈ R，其中 E 和 R 分别是实体和关系的集合。因此，KG 可以用 KG =〈E， R〉 表示。请注意，实体集包括对象和概念，以及它们的关联属性和值。这组关系指定实体之间的关系。一般来说，关系是有方向的。KG 的构建方法通常分为自上而下和自下而上的方法 [22]。我们的认知 SemCom 中使用的大规模通用 KG 总是自上而下构建的，包括四个过程，即信息提取、知识融合、知识处理和知识更新 

为了从得到的语义符号中重构消息 mˆ，基于自然语言处理 （NLP） 技术设计了语义符号识别模块。在本文中，与 [11] 中通过使用端到端训练 Transformer 实现联合源通道编解码器 （JSCC） 框架的工作不同，提出了一种通过在接收端训练 NLP 技术的新框架。特别是，根据句子的长度，我们提议的 Text2KG 对齐器可以将一个句子映射到一个或多个三元组。

由于从 m 到 s 的映射是多对一的，因此可能存在语义歧义。为了减少语义歧义并实现三元组到文本的转换，在我们的训练语料库上对预训练模型文本到文本传输转换器模型 （T5） 进行了微调。由于预训练模型 T5 由数十亿个句子提供，因此在生成重构文本时，它可以考虑上下文。

1） 语义符号抽象：语义符号抽象旨在检测和提取消息中包含的特定语义信息。语义符号抽象的实现是将输入文本 m 与三元组 （h， r， t） 对齐。它是通过 Text2KG 对齐算法实现的，如算法 1 所示。请注意，对于输入文本中的每个句子，所有具有 h 和 t 的三元组都匹配。此外，每个三元组可以与多个句子对齐，每个句子可以有多个三元组与之对齐。关系不需要匹配，因为有多种表示方式。与 [24] 中的工作类似，只要消息提到 head 实体和 tail 实体，就可以表示这种关系 

2）利用同义词集来查询实体的所有同义词。在本文中，WordNet 被用作同义词集。它是一个大型英语单词数据库，由普林斯顿大学的 George Miller 团队于 1980 年代建立 [25]。名词、动词、形容词和副词都存储在此数据库中。我们的 Text2KG 对齐算法会考虑 head entities 和 tail entities 的所有同义词。因此，输入文本在语义级别与三元组对齐

通过KG分析语义上下文合理性，校正的原理是遍历 KG 中的语义符号，以找到在接收者处观察到的最相似和合理的语义符号。我们提出的校正算法的详细信息在算法 2 中给出。语义符号解码是语义符号编码的相反过程。语义符号解码后，实现重构的语义符号 Sˆ。 

 

 

 多用户模型

与嵌入模型现有的训练方法类似，构建了两个不重叠的训练样本集，即一组正样本和一组负样本。阳性样本是 KG 的真正三胞胎。负样本是通过将真实三元组的 head 实体或 tail 实体替换为错误的实体来构建的。评分函数定义为嵌入模型的损失函数，训练目标是最小化评分函数。具体来说，不同的嵌入模型具有不同的评分函数 [28]。利用梯度下降方法来训练嵌入模型。其中不同实体和关系的嵌入值之间存在相对距离。此外，在训练嵌入模型后，通过对函数进行评分，真正的三元组获得比错误的三元组更高的分数。相应地，真正的三元组与语义逻辑一致，错误的三元组与语义逻辑不一致。从这个意义上说，三元组分数之间的差距反映了语义差异中的距离。使用标准的随机梯度下降方法，对 T5 模型进行微调，以实现文本恢复。 

上下文机制区分用户：由于不同的用户在实践中都有私有的KGs，每个用户只能理解与自己的KG相匹配的语义信息[29]，因此利用第k个用户的私有KGs来区分相应的重构语义符号sbk。值得注意的是，从实际角度来看，不同用户的私有 KG 并不是完全分开的。例如，在很多实际的多人对话场景中，比如智能客服，由于不同的用户可能对同一个产品感兴趣，所以不同用户的私有 KG 可能会重叠。在这种情况下，基于 KG 来区分不同用户的方法无效。为了克服这个困境，在我们提出的消息恢复算法中，利用用户上下文来区分不同的用户。

通过利用我们提出的 Text2KG 对齐算法，将每个用户的语义符号从消息中抽象出来。然后，这些符号通过使用传统的通信模块进行传输。

在目的地，通过利用我们提出的纠正算法来实现重构的语义符号。由于所有用户的语义符号都混合在一起，因此提出了一种消息恢复算法来区分语义符号。具体来说，对于第 k 个用户，当重组后的语义符号包含在第 k 个用户的私有 KG 中，并且重组的消息是第 k 个用户的前面文本的下一句时，它们被设想为传递给第 k 个用户的消息，反之亦然。

消息恢复算法：

Multi-Modal Knowledge Graph Enhanced StyleGAN-Based Cognitive Semantic Communications for Image Transmissions

提出了一种新的多模态知识图谱 （MMKG） 增强的基于 StyleGAN 的图像传输认知语义通信。具体来说，我们利用大规模通用多模态知识图谱作为语义知识库，并设计了一种图像的语义编码方法。

还设计了语义融合算法，基于多模态知识图谱提供的附加语义，实现可控的语义恢复。提出的方法在实现更高的语义重建能力方面优于传统通信系统。

我们采用大规模通用多模态知识图谱作为所提出的图像语义通信的辅助知识库，并设计了一种语义编码方法。语义编码通过将语义表示为知识图谱中的实体节点，有效地减少了要传输的数据量，从而实现了高压缩率。此外，以风格生成对抗网络作为图像恢复工具，还设计了一种语义融合算法，以实现基于多模态知识图谱提供的附加语义的可控语义恢复。此功能有助于在图像生成过程中整合补充知识，从而提高生成图像的可解释性。这是第一个将多模态知识图谱应用于图像语义通信并实现可控图像语义重建的工作。

 （1）发射器由语义提取部分组成，语义提取部分由认知网络和分割网络组成，以及语义源通道 （SSC） 编码器部分。我们将输入图像表示为 p。认知网络和分割网络用于对图像 p 进行语义提取。具体来说，分割网络对输入图像进行语义分割，以获得其语义分割映射 m。同时，认知网络利用语义库（即多模态知识图谱）来获取输入图像的知识实体 e。因此，来自知识图谱的语义分割映射 m 和相应的知识实体 e 作为图像的语义表示，它们表示为 s = {e， m}。这个过程表示为 s = E（p），其中 E（·） 表示语义提取的过程。在获取到图像的语义符号后，为了实现语义通信，需要使用常规的通信模块进行语义编码和通道编码。由于在我们提出的框架中使用了两种形式的语义表示，因此根据不同类型的语义表示设计了不同的语义编码方法。

（2）接收器由语义源通道 （SSC） 解码器部分和图像重建部分组成，后者由语义融合网络和基于 StyleGAN 的生成器组成。在通道传输和解码之后，通道解码器获得一组重构的二进制代码，从中解码语义两部分的二进制表示。对于图像的知识图谱实体，通过字典查找方法执行整数值到知识图谱中多模态实体 e 的反向映射，可以获得图像的语义分割图 m。随后，为了从重建的语义表示中恢复原始传输的图像，采用基于风格的生成对抗网络作为图像生成器。此外，通过利用共享的多模态知识图谱，我们在相关知识实体之间建立关联，并获得额外的视觉模态信息，表示为 R。通过将语义分割映射 m 和附加图像 r 都输入到语义重建模块中，能够在接收端实现语义层面对传输图像的重建

 

语义融合算法被设计为整合多模态知识图谱提供的额外语义。该算法可以控制生成的图像中的高级语义特征，从而生成在语义上与原始图像更一致的重建图像。如图 2 所示，图像重建模块将语义分割标签 m 和附加图像 r 作为输入。然后，样式编码器对图像进行处理以解耦其特征，每个图像都会生成多个语义潜在向量，这些向量表示图像的不同特征，其中包含 18 个独立的语义潜在向量。在生成阶段，语义潜在向量被馈送到 StyleGAN2 的多层中，以控制不同分辨率的图像特征。我们根据混合权重 B 选择性地将从语义分割图中获得的语义潜在向量与从知识图谱中视觉模态得出的语义潜在向量混合。这种混合过程使生成的图像既具有语义分割映射中的低级语义特征，又具有视觉模态中的高级语义特征，从而在语义内容方面达到高保真还原效果