08.第四章 Markov链(3)

第四章 Markov链(3)

1.平稳Markov链

Markov链的极限分布：对于状态空间为 E = { 1 , 2 , ⋯   , N } \mathcal E=\{1,2,\cdots,N\} E={1,2,⋯,N}的Markov链$\mathbf{X}$，其转移概率矩阵为$\mathbf{P}$，初始分布为${\mathbf{p}}_0$。如果存在$\mathcal{E}$上的一个概率分布$\mathbf{\mu }=({\mu }_1,\cdots ,{\mu }_N)$，使得$\forall j\in \mathcal{E}$，有
$$\underset{n\to \infty }{\lim }{p}_n(j)={\mu }_j$$
则称$\mathbf{\mu }$为Markov链$\mathbf{X}$的极限分布。极限分布能表明Markov链的趋向于长时间的性质。

对于初始分布$\mathbf{\mu }$和概率转移矩阵$\mathbf{P}$，如果$\underset{n\to \infty }{\lim }{\mathbf{P}}^{(n)}=\underset{n\to \infty }{\lim }{\mathbf{P}}^n$存在，则极限分布为$\underset{n\to \infty }{\lim }\mathbf{\mu }{\mathbf{P}}^n$。因此，要计算Markov链的极限分布，主要是计算转移概率矩阵收敛到哪一个矩阵；如果不收敛，则此Markov链没有极限分布。

Markov链的平稳分布：为使$\mathbf{X}$是强平稳过程，有${\mathbf{p}}_0={\mathbf{p}}_1=\cdots$，这等价于${\mathbf{p}}_0={\mathbf{p}}_0\mathbf{P}$，一般的初始分布和转移概率矩阵并不一定满足这个式子。但如果存在概率分布$\mathbf{\pi }=({\pi }_1,{\pi }_2,\cdots ,{\pi }_N)$使得$\mathbf{\pi }\mathbf{P}=\mathbf{\pi }$，则称$\mathbf{\pi }$为Markov链$\mathbf{X}$的平稳分布。为确定平稳分布，需要求解这样的线性方程组：
$$\{\begin{array}{l}\sum _{i=1}^N{\pi }_i{p}_{Ni}={\pi }_i;\\ \sum _{i=1}^N{\pi }_i=1;\\ {\pi }_i\ge 0,\forall i.\end{array}$$
如果Markov链存在平稳分布$\mathbf{\pi }$，则取之作为初始分布，可以得到平稳Markov链。注意，Markov链的平稳分布并不是唯一的。

平稳分布与平均返回时间之间存在联系，如果$\mathbf{X}$是非周期不可约的，转移概率矩阵为$\mathbf{P}$，那么该Markov链存在平稳分布当且仅当每个状态都是正常返，并且
$${\pi }_j=\frac{1}{{\tau }_j},j\in \mathcal{E}$$
由此，一旦找到了非周期不可约的Markov链的平稳分布，就可以判断其每个状态都是正常返的，且可以计算每个状态的平均常返时间。

平稳分布与极限分布之间存在联系，如果$\mathbf{X}$是非周期不可约的，转移概率矩阵为$\mathbf{P}$，那么该Markov链存在极限分布当且仅当存在平稳分布，且两者相等。（若是周期Markov链，则不一定成立）

不可约零常返或瞬时Markov链不存在平稳分布。

2.可逆Markov链

Markov性是无后效性，即下一时刻的状态只与当前时刻的状态有关，而与过去所经历的状态无关；如果反过来计算$P(X_n=j|X_{n+1}=i,X_{n+2}=i_{n+2},\cdots )$，则有
$$\begin{array}{rl}& P(X_n=j|X_{n+1}=i,X_{n+2}=i_{n+2},\cdots )\\ =& \frac{P(X_n=j,X_{n+1}=i,X_{n+2}=i_{n+2},\cdots )}{P(X_{n+1}=i,X_{n+2}=i_{n+2},\cdots )}\\ =& \frac{p_n(j)p_{ji}{p}_{i{i}_{n+2}}\cdots }{p_{n+1}(i)p_{i{i}_{n+2}}\cdots }\\ =& P(X_n=j|X_{n+1}=i)\end{array}$$
也就是说${\mathbf{X}}^{\ast }=(\cdots ,X_{n+1},X_n,\cdots ,X_1,X_0)$也是一个状态空间为$\mathcal{E}$的Markov链。如果初始分布为$\mathbf{\pi }$，则有$\frac{p_n(j)}{p_{n+1}(i)}{p}_{ji}=\frac{{\pi }_j}{{\pi }_i}{p}_{ji}$。

可逆Markov链：如果$\forall m\ge 0,M\ge m$，有$(X_M,X_{M-1},\cdots ,X_{M-m})\stackrel{d}{=}(X_0,X_1,\cdots ,X_m)$，则称$\mathbf{X}$为可逆Markov链。

• 显然，可逆Markov链一定是平稳的，即至少应选择$\mathbf{X}$的平稳分布$\mathbf{\pi }$作为初始分布。这样，$\mathbf{X}$是可逆的当且仅当$(X_1,X_0)=(X_0,X_1)$，即
  $$p_{ij}=\frac{{\pi }_j}{{\pi }_i}{p}_{ji}\Rightarrow {\pi }_i{p}_{ij}={\pi }_j{p}_{ji}$$
  这个条件是对于任意两个状态$i,j$成立的，对于含有$N$个状态的状态空间，则应当满足$C_N^2$个这样的等式。

• Kolmogorov准则：对于转移概率矩阵为$\mathbf{P}$的不可约平稳Markov链$\mathbf{X}$，它可逆等且仅当对任意闭合路径$i_0,i_1,\cdots ,i_m=i_0$，都有
  $$p_{i_0{i}_1}{p}_{i_1{i}_2}\cdots p_{i_{m-1}{i}_0}=p_{i_0{i}_{m-1}}\cdots p_{i_2{i}_1}{p}_{i_1{i}_0}$$
  按照Kolmogorov准则，可以避开计算Markov链的平稳分布，直接由转移概率矩阵验证Markov链的可逆性。