【语义通信文献阅读--A Mathematical Theory of Semantic Communication（一）】

以下内容是我自己对张平院士发表的语义通信有关文章《A Mathematical Theory of Semantic Communication》的阅读思考与总结。

这一部分放的是Introduction内容。

介绍

一、建立框架思路

香农第一定理 —— 变长/可变长无失真信源编码定理

香农第二定理 —— 有噪信道编码定理

香农第三定理 —— 真度准则下的有失真信源编码定理

定长编码定理

二、语义通信的困境

三、信息的意义

源端-文字/图片/信号

目的端

总结-两条语义信息处理的规则

四、语义信息的理论框架

---

一、建立框架思路

以下关于三个编码定理的知识参考了通信原理（三）香农三大定理，感谢。

香农第一定理 —— 变长/可变长无失真信源编码定理

香农第一定理指导——无失真信源编码

香农第二定理 —— 有噪信道编码定理

香农第二定理指导——信道编码

当信道的信息传输率 R 不超过信道容量 C 时，一定存在信道编码方法可以实现任意高的传输可靠性，反之则不可能实现。 信道容量 C 是无差错传输时信息传输率 R 的极限值。

香农第三定理 —— 真度准则下的有失真信源编码定理

香农第三定理指导——有失真信源编码

给定允许失真度 D ,当信息传输率 R > R(D) 时,只要信源序列足够长,总可以找到一种编码方法使平均失真趋近于允许失真度 D 。 率失真函数R(D)满足平均失真      小于给定失真度 D 时,信源信息量可压缩的最低限度。

定长编码定理

二、语义通信的困境

我们既不能精确地回答什么是语义信息或信息的意义，也不能提供指导语义通信系统设计的基本限制。

因此，迫切需要建立语义交际的数学理论来解决这些基本问题。

三、信息的意义

源端-文字/图片/信号

例子——

“She appeared happy and content after receiving the good news”.

“She appeared joyful and content after receiving the good news”.

happy 和 joyful 在这里的意义是一致的，因此可替换。

因此，我们认为同义映射是文本数据语义信息的一个重要特征，所有这些语音波形或频谱图构成同义词表示，具有相同的语义信息。

目的端

图3(a)中的6个字符识别任务，每一行图像的不同形状和字体表示相同的字母。所以我们很容易从这些意象中推导出意义，即“SEMANTIC”。

图3(b)，各种图像代表同一实体或对象，如森林、楼梯、海洋等。

图3(c)描述了障碍物检测的任务，标记框表示行人。

因此，我们可以得出结论，许多下游任务涉及同义映射和语义推理。

总结-两条语义信息处理的规则

1. 所有可感知的信息，如文字、语音、图像、视频等，都是句法信息。然而，基于这些消息，我们可以推导或推理出一些语义信息。句法信息和语义信息之间存在共同的、稳定的映射关系。这些映射可以根据人们的知识或应用程序场景的配置条件来构建。
2. 一般来说，句法信息和语义信息之间的关系是非常复杂的。然而，在大多数情况下，语义信息具有单一的含义，而源数据和下游任务的表示则是无数的。（一对多的）      
   因此，同义映射是语义推理中的一种重要关系，普遍存在于各种语义推理任务中。

当然，语义信息也可能存在歧义。 尽管如此，这种模糊性是次要的，可以通过使用多种交互来消除。 因此，本文主要对语义信息中的同义词进行处理，歧义问题将留给今后的工作。

四、语义信息的理论框架