语义通信文献阅读：A Lite Distributed Semantic Communication System for Internet of Things

---

论文简介

• 作者
  Huiqiang Xie
  Zhijin Qin
• 发表期刊or会议
  《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》
• 发表时间
  2021.1

---

动机：为什么作者想要解决这个问题？

  一些IoT设备具有一定的能力来处理简单的DL(Deep learning)模型，但有限的内存、计算和电池容量仍然阻碍了 DL 的广泛应用。

  因此，DL 模型更新的负担通常转移到云/边缘平台 。具体而言，DL 模型基于来自 IoT 设备的数据在云/边缘平台上训练，然后再将经过训练的模型分发到 IoT 设备。

  然而，在空中传输的数据可能会被无线信道扭曲，这可能会导致不正确的训练结果，即局部最优；此外，在带宽有限的情况下，DL 模型中的大量参数将导致DL模型分发的高延迟。

  因此，面临两个关键问题，即：
  ①如何通过无线通道将数据准确传输到云/边缘平台以进行模型训练？
  ②如何减少DL模型中的参数数量以降低物联网设备的延迟和功耗？

  针对关键问题①，采用语义通信；针对关键问题②，采用network slimmer

  通过上述两个关键问题，作者又展开引出了三个question：
  Question 1: 如何在无线衰落信道上设计语义通信系统？
  Question 2: 如何形成星座，让容量受限的物联网设备用得起？
  Question 3: 如何压缩语义模型以在物联网设备上实现快速模型传输和低成本实现？

贡献：作者在这篇论文中完成了什么工作(创新点)？

• 针对Question 1，通过分析 CSI 对衰落信道上 DL 模型训练的影响，提出了一个 CSI 辅助语义通信系统来加速模型收敛，其中 CSI 通过去噪神经网络进行改进。
• 针对Question 2，为了使容量受限的设备能够负担得起数据传输和接收，我们设计了一个有限位数的星座
• 针对Question 3，提出了一种模型压缩算法，包括network sparsification and quantization，通过修剪冗余连接和量化权重来减少 DL 模型的大小

规划：他们如何完成工作？

• 针对Question 1，利用 LS Estimator进行信道估计，得到粗略的 CSI，再利用注意力引导的去噪卷积神经网络 (ADNet) 来改进 CSI。
  

• 针对Question 2，将$X$量化为$m$位整数，使$X$的范围缩小到$2^m$的大小。例如当$m=8$时，星座的大小减少到256，然后$X_{quantize}$反量化还原$X$。这样的$X_{dequantize}$与$X$的分布相似，但星座点较少，有利于降低硬件发射机成本并尽可能保持性能。其中$X$是本地IoT设备最后一层激活的输出。

• 针对Question 3
  ① Network Sparsification：修剪权重值较小的连接，即设定一个threshold，具体公式见论文 III. B. 1)
  ② Network Quantization：包括权重量化和激活量化，具体公式见论文 III. B. 2)

理由：通过什么实验验证它们的工作结果

• The benchmark approach：基于独立的信源编码和信道编码技术，信源编码采用变长编码（哈夫曼编码），信道编码采用Turbo 编码和 ReedSolomon (RS) 编码
• 与benchmark approach做了一系列的对比

自己的看法

• 总的来说：提出了一种语义通信系统轻量化的方法。
• 具体来说：
  开发了一种CSI辅助训练的方法，减少衰落信道对传输的影响；
  定制了语义星座，使其可以在容量受限的物联网设备上实现；
  提出了一种模型压缩算法，通过修剪冗余连接和量化权重来减少 DL 模型的大小。