马尔科夫过程详解

马尔科夫链随机过程之所以如此重要，在于其平稳分布（stationary distribution），也即对它而言，它存在一个平稳分布。

1. 记号的说明

q(i,j)==q(j|i)==q(i→j)  
表示一个转移矩阵为  Q 的马氏链，从状态  i 转移到状态  j 的概率

2. 马氏性

Xn  标识时刻  n  的状态，关于马氏性的数学表达为： 

P(Xn+1=k|Xn=kn,Xn−1=kn−1,…,X1=k1)=P(Xn+1=k|Xn=kn)

也就是状态转移的概率只依赖与

3. 定理一

如果一个非周期马氏链具有概率转移矩阵  P ，且它的任何两个状态都是连通的，则  limn→∞Pnij  存在且与  i  无关（也即矩阵  Pn  的每一行元素都相同），记  limn→∞Pnij=π(j) ，我们有：

limn→∞Pn=⎡⎣⎢⎢⎢⎢⎢⎢π(1)π(1)