【计算机科学与技术】信息论笔记（3）：随机过程的熵率

200731本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第三章：随机过程的熵率~

3. 随机过程的熵率

3.1 马尔科夫链

本章马尔可夫链基础知识略过。

• 本章内容表明：熵$H(X_1,X_2,\dots X_n)$随$n$以速率$H(\mathcal{X})$（渐近地）线性增加，这个速率称为熵率。

• 信源：

  • 离散无记忆信源（简单）：各符号之间相互独立，各个符号的出现概率是它自身的先验概率 。

  • 一般平稳信源（复杂）：联合密度函数与时间起点无关。

  • 马尔科夫信源：信源发出源字的概率，仅与当前源字及前有限个源字有关。

• 定义3.1.1 信源联合概率分布与时间起点无关：
  $$p\left(x_1,x_2,\cdots ,x_n\right)=p\left(x_{1+1},x_{2+1},\cdots ,x_{n+1}\right)$$
  则称该随机过程是平稳的。实际的信源短时间内是平稳的。本章主要研究时不变马尔科夫链。称 { a 1 , a 2 , . . . , a K } \{a_1,a_2,...,a_K\} { a1​,a2​,...,aK​}为源字X。$x_1{x}_2...x_n$为输出序列。输出概率由自身和前$l$个源码有关，$l$个源字组成的状态组成信源状态序列$s_1,s_2,...,s_m$。

• 相关概念：

  • 过渡态：能到达其它某一状态，但不能返回；

  • 吸收态：不能到达其它任何状态；

  • 常返：经有限步迟早要返回该状态；

  • 周期性：常返态中，$q_{ii}(n)$，仅当$n$能被某整数$d$整除时返回，周期性返回；

  • 非周期：所有$n$的最大公约数为1；

  • 遍历：非周期常返；

  • 闭集：子集内状态不能达到子集外；

  • 不可约：最小闭集。

• 定义3.1.2（各态历经信源）：各个状态都是遍历态（非周期常返）。

  • 各态历经判定：对任意两个状态$i$和$j$，如果存在正整数 n 0