论信息论中的两个基本度量指标：熵（Entropy） 和互信息（Mutual Information, MI）【*】

在本节中，我们将讨论信息论中的两个基本度量指标：熵（Entropy） 和互信息（Mutual Information, MI）。这些度量指标都与字母表（alphabet）这一概念相关，字母表可以理解为由符号组成的集合。与字母表类似的术语还包括码字（codewords），可以类比为符号，而码书（codebook） 则类似于字母表的概念。字母表中的符号是由信息源产生的，信息源的一个典型模型是离散无记忆源（Discrete Memoryless Sources, DMS）。

1. 离散无记忆源（DMS）

**离散无记忆源（DMS）**是信息论中一种常见的抽象模型。它具有以下特点：

• 字母表 J = { s 1 , s 2 , ⋯   , s n } J = \{s_1, s_2, \cdots , s_n\} J={ s1​,s2​,⋯,sn​}，每个 $s_k\in J$ 都是源发出的符号。
• 在离散无记忆源中，符号是独立生成的，也就是说，符号之间没有依赖关系，之前发出的符号不会影响之后发出的符号。
• 每个符号 $s_k$ 出现的概率为 $P<$