马尔可夫链相关学习（一）

马尔可夫链基础知识学习

最近在学习马尔可夫链的相关知识，希望这些总结可以帮助到需要的小伙伴。
感兴趣的读者可以参考Ross和Haggstrom的教材

一些基本概念

马尔可夫链的定义

马尔可夫链表示的是一个随机变量序列，系统在某个时刻的状态只依赖于其前一时刻的状态，与再之前的状态都是无关的。

考虑随机过程：{ X⁽ⁿ⁾，n=0，1，2，···· } 。其取值是一个有限或者可数的集合M（称为状态空间），我们一般假设状态空间M为 { 0, 1, 2, ···· } ，其中的元素称为状态。

则我们可以定义P_ij = P(X⁽ⁿ⁺¹⁾= i | X⁽ⁿ⁾= j，X^(n-1)= i_n-1, ··· , X⁽⁰⁾= i₀)，$n\ge 0$。其中 i, j, i₀, i₁, ··· , i_n-1* $\in$ M。则p_ij 就表示状态 j 转移到状态 i 的概率，称此随机过程为马尔可夫链。

转移概率矩阵TPM

我们定义TPM如下：P = [ p_ij ] , 其中p_ij如上面的定义，这个矩阵称为一步转移概率矩阵。
相对应的我们就可以定义n步转移概率矩阵，定义p_ij ⁽ⁿ⁾表示状态 j 经过n步之后转移到状态 i 的概率。
命题：P⁽ⁿ⁾ = Pⁿ
这里的P⁽ⁿ⁾为n步转移概率矩阵，P为一步转移概率矩阵，我们可以使用数学归纳法来证明这个命题。
p_ij⁽ⁿ⁺¹⁾ = ${\sum }_{k\in M}$ p_ki⁽ⁿ⁾p_jk⁽¹⁾ = ${\sum }_{k\in M}$p_kiⁿp_jk = [ pⁿ⁺¹ ]_ij
而且有如下结论：P^(m)P⁽ⁿ⁾ = P^mPⁿ = P^m+n = P^(m+n)

若假设时刻$n$=0时，