语义通信文献阅读记录（二）

Semantic Communications for Future Internet:Fundamentals, Applications, and Challenges

语义通信相关定义

Semantic-Oriented Communications在编码之前引入了一个语义表示(semantic representation)模块，负责捕获在信源数据中嵌入的核心信息，过滤掉不必要的冗余信息。

在许多研究中，语义表示(semantic representation)和语义编码(semantic encoding)的功能被集成到一个称为语义编码(semantic encoding)的模块中，它共同发挥着类似于传统通信中信源编码的作用；

同样的，语义推理(semantic inference)和语义解码(semantic decoding)的组合作用等同于信源解码

此外，与人类对话一样，有效的对话需要对彼此的语言和文化有共同的了解。在语义通信中，需要实时共享通信双方的本地知识(local knowledge)，以确保理解和推理过程能够很好地匹配所有信源数据。如果局部知识不匹配，即使在物理传输过程中没有句法错误，也会产生语义噪声，导致语义歧义。

语义通信相关方向

I. 基于深度学习的语义提取
 ① 视觉数据(图片、视频)
 ② 文本数据
 ③ 语音数据
 ④ 多模型(Multimodel)数据

II. 基于强化学习的语义提取
 深度学习对损失函数可微有严格要求，强化学习被视为一种有前途的替代方案

论文备忘：

Google所设计的FL：K. Bonawitz, H. Eichner, W. Grieskamp, D. Huba, A. Ingerman, V. Ivanov, C. M. Kiddon, J. Konecny, S. Mazzocchi, B. McMahan, T. V. Overveldt, D. Petrou, D. Ramage, and J. Roselander, “Towards federated learning at scale: System design,” in Proc. Systems and Machine Learning Conference, Stanford, CA, USA, Feb. 2019.

在[8]-[12]中，对 FL 在通信网络 中的应用进行了全面的调查。

[13]-[17]介绍了 如何利用通信技术提高在无线网络上实现的 FL 算法的性 能。

19]和[20]介绍了基于 FL 的新型分布式 学习算法，并讨论了实现其解决方案的几个开放研究方向 

在[21]、[22]中， 对 FL 的安全和隐私挑战进行了 调查。

在[23]中，介绍了如何使用通信技术来提高收 敛速度并实现精确的训练和推理。

在 [24] 中，介绍 了 FL 和联合蒸馏技术，以实现高效的通信学习。在 [25] 中解释了强化学习在解决无线通信问题中的应用。

在[26] 中，介绍了联合边缘学习、分布式推理和分布式学习。 

多代理框架：L. Busoniu, R. Babuska, and B. De Schutter, “A comprehensive survey of multiagent reinforcement learning,” IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 38, no. 2, pp. 156–172, Feb. 2008.

ByteLake和联想[69]展示了FL物联网行业应用，使5G网络中的物联网设备能够相互学习，并可以在物联网设备上利用本地ML模型。M. Rojek and R. Daigle, “AI FL for IoT,” Presentation at MWC 2019 https://www.slideshare.net/byteLAKE/ bytelake-and-lenovo-presenting-federated-learning-at-mwc-2019, 2019, Accessed: 2021-01-17.

爱立信[72]的作者在许多用例上对其进行了测试，将模型从传统的集中式机器学习迁移到联邦学习，使用原始模型的准确性作为基线。他们的研究表明，由于需要共享的数据量急剧下降，使用简单的神经网络会导致网络利用率显着降低。K. Vandikas, S. Ickin, G. Dixit, M. Buisman, and J. Åkeson, “Privacy-aware machine learning with low network footprint,” Ericsson Technology Review article https://www.ericsson.com/en/ericsson-technologyreview/archive/ 2019/privacy-aware-machine-learning, 2019, Accessed: 2021-01-17

目标通信相关定义 

Error based语义度量
SemCom中Error based的指标关心的是发射端表达的意思是否等同于接收端理解的意思。可用的语义指标都是针对特定任务的，还没有的通用指标。

AoI-Based语义度量(AoI,age-of-information)
  通信中的语义信息强调时间敏感性。这为语义信息的准确性引入了新的维度，即正确的时间。
  与延迟指标不同，AoI-Based语义度量主要衡量传输性能而不关心数据包的内容，基于 AoI 的指标用于量化在目的地接收到的信息的陈旧性。
  基于 AoI 的指标仍然存在固有缺陷，即它们忽略了恢复数据的有效性。

VoI-Based语义度量(VoI,value-of-information)
VoI主要用于衡量一条信息与通信任务的相关性。换句话说，VoI 可以看作是 SI 对effectiveness (不知道该怎么翻译，是有效性还是语用)的量化贡献
 

在面向目标的通信(goal-oriented communication)中，有必要捕捉语用信息，侧重于语用层面。

区别一：
面向目标的通信引入了通信目标(communication goal)

不同任务所需的图像特征（即语义信息）是不同的，例如分类、检测或复制。因此，在具有多个任务的传输系统中，在goal-oriented communication中，对于某个任务，每次可能只需要传输图像的局部特征。相反，在Semantic-Oriented Communication中，提取的语义信息应该包括所有可能任务的特征，这不可避免地导致信息冗余和传输过程中的资源浪费。例如，在图中，goal-oriented communication中针对不同任务只用传输部分特征，红绿灯或车轮廓或限速标；但Semantic-Oriented Communication需要全部传输。

区别二：
对于Semantic-Oriented Communication，系统的输出是所传输消息的恢复含义。然后，接收方根据接收到的消息的含义进行下一步操作，但在通信系统的设计中没有考虑这个过程。相反，goal-oriented communication的输出是要执行的直接动作。在goal-oriented communication中，推理模块的输出是动作执行指令，例如加速、制动、方向盘的角度、闪烁的大灯，以响应行人、路障和交通信号状态的变化

目标通信相关方向：

面向目标的通信(Goal-Oriented Communication)

I. knowledge-based的语义提取
    知识库如何构建与同步

II. Semantic-Native的语义提取
  基于深度学习、基于强化学习和knowledge-based的语义提取都依赖于基于大量标记数据的训练有素的神经网络，这使得它们仅适用于具有不变语义信息的通信系统。
  因此，它们对于语义随时间或通信上下文变化的场景无能为力，而这种场景在现实生活中更为常见。 具体来说，要将“被动学习”转变为“主动学习”。
  这被称为紧急通信(emergent communication)，其中语义和面向目标的表示不是预定义的，需要在多个智能代理的迭代通信期间学习

Ⅲ.语义感知通信(semantic-aware communications)

  语义感知通信中没有通用的语义提取方法，给出两个典型示例，以说明将semantic awareness引入通信的动机

名词/方向查询备忘

无线信道优化方向

语义通信不再关注比特。通常，在资源分配方案的设计中，应该考虑QoS(quality of service，基于服务质量)和QoE(quality of experience,基于用户体验质量)以构建有效的系统。。

1 ) 带宽资源
  SemCom 应考虑 SI 的不均匀分布，应将更多带宽分配给具有更多 SI 的数据/代理。一种可能的解决方案是在训练过程中联合执行带宽分配，将带宽动态分配与语义内容传输相结合的问题尚未得到充分研究。在一些不需要训练的SemCom系统中，需要设计带宽分配方案，为更重要的传输内容分配更多的带宽，以保证信息质量

2 ) 能源资源
  分配更多的能量来传输包含更丰富的 SI 的数据，确保了能量的有效利用。然而，目前语义度量在能源资源分配中的应用还处于早期阶段。

典型语义通信架构（基于Swin transformer）

从semantic encoder——> channel encoder——>wireless channel——>channel decoder——>semantic decoder的范式

来源文献：

WITT: A Wireless Image Transmission Transformer for Semantic Communications

Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows

旨在改善卷积神经网络，将NLP的Transformer引入图片领域，采用了 Swin 变换器作为提取长距离信息的更强大的骨干。与图像分类任务中的 ViT 不同，WITT 在考虑无线信道影响的同时，对图像传输进行了高度优化。具体来说，提出了一个空间调制模块，根据信道状态信息缩放潜表征，从而增强了单一模型应对各种信道条件的能力。

swin-transformer提出的初衷是可以将Transformer作为视觉任务特征提取网络的骨干模块，遵循了CNN在视觉处理中的基础思想，但对于Transformer来讲，将输入的图像数据序列化后，然后提取全局特征复杂度很高，因此Swin-Transformer处理这个问题的基本思想是：将多个像素点分成多个patch，然后对于多个patch再划分成多个窗口，以patch为特征最小单位，窗口为注意力操作的最小单位来进行特征的提取，但是这样只能根据窗口内特征向量来提取，缺少了窗口之间的交互，因此特引入滑动窗口多头注意力（Shifted Windows Multi-Head Attention)。但是由于Transformer输入输出维度在一般情况下保持一致，因此加入了Patch Merging模块实现下采样。

SM模块会将其映射至为一个M维的向量，这个M维刚好和上面的线性层输出通道数相同，可以理解成根据输入的SNR调整了隐性特征各通道之间的比例信息，之后级联多个这种的模块，缩放swin-transformer模块的输出的特征向量。

包括一个基于无线信道的SNR优化模块

代码备注：

 

dataset.py：创建数据集实例，高分辨率采用DIV2K dataset，低分辨率采用CIFAR10训练集。测试数据集采用Kodak和CLIC2021。

channel.py：无线信道传输模型代码，支持可调信噪比的AWGN和Rayleigh信道。

encoder.py：发送端编码

decoder.py：接收端解码

modules.py：编解码网络构建模块所基于的基础模块。

network.py：构建整个语义传输系统基础运行类。

train.py：主题代码。

util.py：支撑train.py运行的一些log模块和基本计算模块。

 

 Deep Learning-Enabled Semantic Communication Systems With Task-Unaware Transmitter and Dynamic Data

本文的主要贡献有三点。

针对具有任务无感知发射者的语义编码网络，提出了一种在现有工作中尚未考虑的接收者主导训练过程。通过此过程，接收机可以协调发射机的网络训练，而无需向发射机宣布任务的确切内容。因此，发射器可以学习如何利用来自接收器的一些有限反馈对可观察信息进行编码。因此，重点在于设计用于发射机网络训练的关键反馈信息，而不披露在接收机执行的特定任务，而不是像文献中考虑的那样设计特定的神经网络架构。大多数现有工作都假设任务的知识对发射者和接收者都是可用的，因此它们没有考虑语义通信网络的训练过程。

针对该语义编码网络，针对图像传输提出了一套量身定制的损失函数。虽然在以前的一些工作中已经提出了由比特扭曲度量和语义扭曲度量组成的损失函数结构[8]，[15]但我们根据语用函数的输出将任务分为两类，并特别针对每个类别提出了失真度量函数。此外，为了将概率形式的理论损失函数拟合到我们的训练过程中，该文还相应地提出了一种用于神经网络训练的经验抽样形式的算法。

第三个贡献是在发射机处引入数据自适应网络，以解决不同数据环境的问题。通过使用迁移学习的域自适应技术，该网络可以在发射端进行本地训练，而无需与接收机进行任何通信，并且只需几下观察镜头。 

有一个名为“观测空间”S的数据集，在系统运行之前，其经验知识在发射机上是未知的。

一个数据集称为“库数据集”K，它是来自背景知识的经验数据K及其对应的语用任务Z的集合。

在准备阶段，发射机和接收机使用经验数据K共同训练编码器网络。在工作阶段，发射机进一步利用经验数据K和可观测数据S对数据适应网络进行训练。经验数据 K 对发射机和接收机都是已知的，而其实用任务 Z 仅对接收者可用。同时，经验数据K和可观测数据S可能来自不同的观测空间。

第一阶段是准备阶段，即可观察数据出现之前。在此阶段，编码器f（·）和解码器g（·）基于库数据集K进行联合训练。本文提出的基于联合信道编码（JSCC）的语义通信也可以看作是面向任务的语义通信。因此，编码器f（·）旨在提取和传输包含大多数语义信息和可观察信息的数据，而解码器g（·）旨在重建与语用任务相关的数据和经验数据。

如何获得 E∼Tt [∇θ1L] 和 E∼Tt [∇θ2L]，这是本质问题。

完整的训练样本在接收端可用，因此接收端可以很容易地获得每个样本 T 的 ∇θ2L（T）

但是，发射器只有K的信息，因此它需要接收器反馈一些必要的值才能获得∇θ1L（T）。根据链式法则，编码器网络参数上的损失函数梯度，即∇θ1L（K， K， Z， Z），可以导出为（1），如页面底部所示。具体来说，第一个下括号中的项目，即损失函数相对于通道输出的梯度，可以在接收端进行数值计算，然后发送到发送器。同时，由于θ1对接收机来说是未知的，因此接收机将信道输出Y发送回发射机，并让发射机在本地计算∇θ1 Y，即（1）中的第二项。也就是说，仅知道 ∇Y L 不足以让发射机确定其传输数据的实际用途。

第二阶段是工作阶段，即在收集到足够多的可观察数据 S 之后。在这个阶段，函数GK（·）被训练，将S转换为经验数据K的类似形式，这样训练有素的编码器f（·）仍然可以提取和传递语义信息，而无需重新训练。GK（·）的网络称为数据自适应网络。引入了一个鉴别器来帮助这种转换。当判别器无法区分转换的数据和库集中的经验数据时，转换器被认为足够好。在此培训过程中，不需要有关实际任务的信息。因此，第二阶段的训练可以在发射机端本地进行，而无需与接收机通信。