06.第四章 Markov链(1)

第四章 Markov链(1)

1.Markov链的基本信息

Markov性：即无后效性。如果定义 { X n = i } \{X_n=i\} {Xn​=i}为随机过程$X$在$n$时刻位于状态$i$，则Markov性表现为：对任意$n\ge 0$，任意状态$i,j,i_0,i_1,\cdots ,i_{n-1}$，有
$$P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1}=j|X_n=i)$$
Markov链：对于随机过程$\mathbf{X}$，它的状态空间至多包含可数个状态即 E = { e 1 , e 2 , ⋯   , e N } , N ≤ ∞ \mathcal E=\{e_1,e_2,\cdots,e_N\},N\le \infty E={e1​,e2​,⋯,eN​},N≤∞，可以把状态空间简化为 E = { 1 , 2 , ⋯   , N } \mathcal E=\{1,2,\cdots,N\} E={1,2,⋯,N}。若$\mathbf{X}$具有Markov性，则称$\mathbf{X}$是Markov链。

• 记$p_{n;ij}=P(X_{n+1}=j|X_n=i)$，称之为Markov链在$n$时刻从状态$i$转移到状态$j$的概率。

• 如果$p_{n;ij}$与$n$无关，即任何时候从状态$i$转移到状态$j$的概率不变，则称$\mathbf{X}$为时间齐次Markov链，这是我们主要讨论的Markov链。

• 对于时间齐次Markov链，令
  $$\mathbf{P}=\left(\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1N}\\ p_{21}& p_{22}& \cdots & p_{2N}\\ ⋮& ⋮& & ⋮\\ p_{N1}& p_{N2}& \cdots & p_{NN}\end{array}\right)$$
  为Markov链的状态转移矩阵，这里有${\sum }_{j=1}^N{p}_{ij}=1$。

• Markov链的分布规律完全由初始分布${\mathbf{p}}_0$与状态转移矩阵$\mathbf{P}$确定。

描述Markov链，可以用状态转移矩阵$\mathbf{P}$和有向图$(V,G)$，这里$V$表示顶点集，$G$表示边集。

2.Markov链的分布

Markov链的初始分布指的是${\mathbf{p}}_0=(p_0(1),\cdots ,p_0(N))$，这里$p_0(i)=P(X_0=i)$。初始分布用来描述$\mathbf{X}$的初始状态分布规律，通常是可选择、可控制的。同理，$X_k$的分布记作${\mathbf{p}}_k=(p_k(1),\cdots ,p_k(N))$。

对于Markov链的一维分布，有
$$\begin{array}{rl}{p}_1(j)=& \sum _{i=1}^N{p}_0(i)p_{ij}\\ & \\ {\mathbf{p}}_1=& (p_1(1),\cdots ,p_1(N))\\ =& \left(\sum _{i=1}^N{p}_0(i)p_{i1},\cdots ,\sum _{i=1}^N{p}_0(i)p_{iN}\right)\\ =& (p_0(1),\cdots ,p_0(N))\cdot \left(\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1N}\\ p_{21}& p_{22}& \cdots & p_{2N}\\ ⋮& ⋮& & ⋮\\ p_{N1}& p_{N2}& \cdots & p_{NN}\end{array}\right)\\ =& {\mathbf{p}}_0\mathbf{P}\\ & \\ {\mathbf{p}}_n=& {\mathbf{p}}_0{\mathbf{P}}^n\end{array}$$
由此得到$n$步转移矩阵为${\mathbf{P}}^{(n)}={\mathbf{P}}^n$，刚好是一步转移矩阵的$n$次方。记$n$步转移概率为$p_{ij}^{(n)}$，它表示初始状态为$i$时经过$n$步到达状态$j$的概率（一般约定$p_{ij}^{(n)}=1$当且仅当$i=j$，否则$p_{ij}^{(n)}=0$），${\mathbf{P}}^{(n)}=(p_{ij}^{(n)}{)}_{n\times n}$。

以此可以推断${\mathbf{P}}^{(m+n)}={\mathbf{P}}^{m+n}={\mathbf{P}}^m{\mathbf{P}}^n={\mathbf{P}}^{(m)}{\mathbf{P}}^{(n)}$，也就是
$$p_{ij}^{(m+n)}=\sum _{k=1}^N{p}_{ik}^{(m)}{p}_{kj}^{(n)}$$
这被称为Chapman-Kolmogorov方程。

任意有限维分布，则有
$$\begin{array}{rl}& P(X_0=i_0,X_1=i_1,\cdots ,X_n=i_n)\\ =& P(X_0=i_0)P(X_1=i_1|X_0=i_0)\cdots P(X_n=i_n|X_{n-1}=i_{n-1},\cdots ,X_0=i_0)\\ =& p_0(i_0)p_{i_0{i}_1}{p}_{i_1{i}_2}\cdots p_{i_{n-1}{i}_n}\end{array}$$