【通俗易懂的通信】马尔可夫过程Ⅰ：马尔可夫链、齐次马尔可夫链、CK方程

0.前言

马尔可夫链在香农通信中被用作描述离散信源的工具，所以完全理解马尔可夫链是理解香农信息论的前提

 

1.马尔可夫链的定义

注解：

定义式中并未说明状态空间的容量，n是序列的长度。

A式的意思是，相邻两时刻n+1与n的条件概率只与这两步的概率有关，与先前的概率无关，这叫做无后效性。无后效性我们可以理解为，先前时刻的状态对当前的状态无后效。

我们把状态和步数(/序列标号)用一个坐标，(n,i) 表示，即第n步的第i个状态，因此对于随机序列X(n)，在每一步在每个状态都有一定概率。

齐次马尔可夫链：

对于齐次马尔可夫链，记，那么矩阵P就是齐次马尔可夫链的一次转移矩阵。

 

2. C-K方程

m步转移概率：

CK方程：

 

CK方程的含义就是，对于从(0,i)到(m+r,j)的转移概率，其值等于从(0,i)到(m,k)，再从(m,k)到(m+r,j)的所有路径的概率的和，其中k是状态空间的所有可能取值。

该定理可以自己画图证明，下面给出公式证明

对于齐次马尔可夫链，转移概率与时间/步数无关，上式是针对一个元素ij，将CK方程写作矩阵形式，可以写作如下形式：