多模态多用户语义通信：Multi-Modal and Multi-User Semantic Communications for Channel-Level Information Fusion

论文简介

• 作者
  Xuewen Luo；Ruobin Gao；Hsiao-Hwa Chen；Shuyi Chen；Qing Guo；Ponnuthurai Nagaratnam；Suganthan
• 发表期刊or会议
  《IEEE WIRELESS COMMUNICATIONS》
• 发表时间
  2022.10

---

动机：为什么作者想要解决这个问题？

 在传统通信或现有语义通信中，所有单模态用户都将他们的数据传输到接收器进行信息融合。接收端接收到数据后，首先检测多用户信号，然后通过信道解码和信源解码（语义解码）对数据进行解码，如图所示。
 这样的系统存在一些问题，即多用户信号检测是复杂的并且不能忽略同信道干扰。

 尽管在[1]、[2]中考虑了多模态和多用户语义通信，但信息融合是在接收器进行信源和信道解码之后完成的，其中没有使用多天线通信系统中的预编码

贡献：作者在这篇论文中完成了什么工作(创新点)？

• 提出了一种信道级信息融合方案，其中融合是在无线信道中实现的，并且接收器处的接收信号是融合的单模态信息。接收机不需要检测多用户信号，因此不存在多用户干扰，尽管用户可能共享相同的无线资源。
• 提出了语义预编码的概念，其中 MIMO 系统中预编码的目标是减轻无线信道对融合的随机性影响并保留传输中的语义信息。
• 研究了信道级信息融合的语义分割案例，其中一种模态是 RGB 图像，另一种是红外图像

规划：他们如何完成工作？

• 信道级信息融合
   ①在每个发送端，通过语义编码提取发送数据的语义特征或信息，并通过信道编码将这些特征编码为符号进行传输；
   ②接下来，语义信息（信号）由通道增益加权并加在一起。在接收到融合信号（融合语义信息）后，接收器首先使用post-process 转换信号的维度，因为发射器和接收器的天线数量可能不同；
   ③然后，融合后的信号直接通过信道解码和语义解码进行解码，其中$M_f$为融合结果

  需要指出的是，虽然所有的发送端占用相同的无线资源，没有同频干扰，因为不同模态的信号可以相互增强，接收方不需要单独解码每个发送方的信号。这是信道级信息融合的显着特征之一，与传统通信有很大区别。

• 预编码
   在传统通信中，预编码的目标是增加信道容量（即传输速率）或基于信道状态信息（CSI）消除多用户干扰，这可以通过迫零预编码（ZF）、广义奇异值分解（ GSVD）等；
   在信道级信息融合中，希望通过预编码防止语义信息被无线信道的不确定性破坏，并减轻无线信道对融合的随机性影响。我们使用深度神经网络进行预编码，其损失函数与语义编码器和解码器相同。

未来的研究方向

• 接收器信号同步
  本文做出了一个关键假设，即来自所有发送方的信号同步到达接收方。

• 多模态信息转换
  作为数据格式不同传感器产生的数据是多种多样的，我们需要设计适合每个单模态传感器的编码器结构，然后将所有数据转换成相同的格式。

• 无线电资源分配
  为不同场景下的信道级信息融合探索合适的无线电资源分配方案

自己的看法

个人理解就是用神经网络去等效替换预编码和无线信道
和我想要研究的好像不太相关

参考文献

[1] Task-Oriented Multi-User Semantic Communications for VQA
[2] Task-Oriented Multi-User Semantic Communications