C-K方程

$n$步转移概率

马氏过程在时刻$m$处于状态$i$，再经过$n$步转移到状态$j$的$n$步转移概率表示为
p i j ( n ) ( m ) = P { X ( m + n ) = j ∣ X ( m ) = i } = p i j ( m ) p_{ij}^{(n)}(m)=P\{X(m+n)=j\mid X(m)=i\}=p_{ij}(m) pij(n)​(m)=P{X(m+n)=j∣X(m)=i}=pij​(m)
$n$步转移概率具有如下性质：
1.
$$p_{ij}^{(n)}(m)\ge 0i,j\in E$$
2.
$$\sum _{j\in E}{p}_{ij}^{(n)}(m)=1i\in E$$

Demo1

设 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}是状态空间 E = { 0 , 1 } E=\{0, 1\} E={0,1}的马氏链，其中$0,1$分别表示系统故障/工作，概率转移图如下所示，其中$p_0+q_0=1,p_1+q_1=1$.

不考虑绝对时间的情况下，求该马氏链所表示的系统的一，二步转移概率矩阵。
解析：$X(n)$为齐次马氏链，$X(0)=i$表示今天的状态，系统的一步概率转移矩阵为
$$\begin{array}{rl}& p_{00}=P(X(1)=0\mid X(0)=0)=q_0\\ & p_{01}=P(X(1)=1\mid X(0)=0)=p_0\\ & p_{10}=P(X(1)=0\mid X(0)=1)=p_1\\ & p_{11}=P(X(1)=1\mid X(0)=1)=q_1\end{array}$$
一步转移概率矩阵为
$$P=\left[\begin{array}{cc}{q}_0& p_0\\ p_1& q_1\end{array}\right]$$
两步概率转移矩阵为
$$P^{(2)}=P^2$$
可以归纳出齐次马氏链的$n$步概率转移矩阵等于一个$n-1$步转移概率矩阵与一个一步概率转移矩阵的乘积，即
$$P^{(n)}=P^{(n-1)}P=P^n$$
其中$n$步转移概率为
$$p_{ij}^{(n)}=p_{i1}^{(n-1)}{p}_{1j}+p_{i2}^{(n-1)}{p}_{2j}+\cdots +p_{ir}^{(n-1)}{p}_{rj}=\sum _{k=1}^r{p}_{ik}^{(n-1)}{p}_{kj}$$

C-K方程

设 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}为一个马氏链，状态空间 E = { 0 , ± 1 , ± 2 , …   } E=\{0, \pm 1, \pm 2, \dots\} E={0,±1,±2,…}或有限子集，则其$n$步转移概率满足如下等式
$$p_{ij}^{(n)}(r)=\sum _{k\in E}{p}_{ik}^{(m)}(r)p_{kj}^{(n-m)}(r+m)i,j\in E1\le m\le n$$
对应的$n$步转移概率矩阵为
$$P^{(n)}(r)=P^{(m)}(r)P^{(n-m)}(r+m)$$
证明：时刻为$r$的$n$步转移概率为
p i j ( n ) ( r ) = P ( X ( r + n ) = j ∣ X ( r ) = i ) = P ( X ( r + n ) = j [ ⋃ k ∈ E X ( r + m ) = k ] ∣ X ( r ) = i ) = P { ⋃ k ∈ E ( X ( r + n ) = j , X ( r + m ) = k ) ∣ X ( r ) = i } = ∑ k ∈ E P ( X ( r + n ) = j , X ( r + m ) = k ∣ X ( r ) = i ) = M a r k o v ∑ k ∈ E P ( X ( r + m ) = k ∣ X ( r ) = i ) P ( X ( r + n ) = j ∣ X ( r + m ) = k , X ( r ) = i ) = ∑ k ∈ E p i k ( m ) ( r ) p k j ( n − m ) ( r + m ) \begin{aligned} p_{ij}^{(n)}(r)&=P(X(r+n)=j\mid X(r)=i)\\ &=P(X(r+n)=j[\bigcup_{k\in E}X(r+m)=k]\mid X(r)=i)\\ &=P\{\bigcup_{k\in E}(X(r+n)=j, X(r+m)=k)\mid X(r)=i\}\\ &=\sum_{k\in E}P(X(r+n)=j, X(r+m)=k\mid X(r)=i)\\ &\overset{Markov}{=}\sum_{k\in E}P(X(r+m)=k\mid X(r)=i)P(X(r+n)=j\mid X(r+m)=k, X(r)=i)\\ &=\sum_{k\in E}p_{ik}^{(m)}(r)p_{kj}^{(n-m)}(r+m) \end{aligned} pij(n)​(r)​=P(X(r+n)=j∣X(r)=i)=P(X(r+n)=j[k∈E⋃​X(r+m)=k]∣X(r)=i)=P{k∈E⋃​(X(r+n)=j,X(r+m)=k)∣X(r)=i}=k∈E∑​P(X(r+n)=j,X(r+m)=k∣X(r)=i)=Markovk∈E∑​P(X(r+m)=k∣X(r)=i)P(X(r+n)=j∣X(r+m)=k,X(r)=i)=k∈E∑​pik(m)​(r)pkj(n−m)​(r+m)​

推论1

若 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}为一个齐次马氏链，状态空间 E = { 0 , ± 1 , ± 2 , …   } E=\{0, \pm 1, \pm 2, \dots\} E={0,±1,±2,…}或者有限子集，则其$n$步转移概率表达式为
$$\begin{array}{rl}& p_{ij}^{(n)}=\sum _{k\in E}{p}_{ik}^{(m)}{p}_{kj}^{(n-m)}\\ & P^{(n)}=P^{(m)}{P}^{(n-m)}\end{array}$$

推论2

若 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}为一个马氏链，状态空间 E = { 0 , ± 1 , ± 2 , …   } E=\{0, \pm 1, \pm 2, \dots\} E={0,±1,±2,…}为有限子集，则有
$$p_{ij}^{(n)}=\sum _{k_1\in E}\sum _{k_2\in E}\cdots \sum _{k_{n-1}\in E}{p}_{i{k}_1}{p}_{i{k}_2}\dots p_{k_{n-1}j}$$
该方程表示质点从$i$点转移到$j$点，可以视为一步一步经过$n$步转移到了$j$点。

绝对概率与初始概率

马氏链的绝对概率由其初始分布以及相应的转移概率唯一确定，一般地，当$n\ge 2$时，绝对概率为
p j ( n ) = P { X ( n ) = j } = P { ( X ( n ) = j ) [ ⋃ i ∈ E ( X ( 0 ) = i ) ] } = P { ⋃ i ∈ E ( X ( n ) = j , X ( 0 ) = i ) } = ∑ i ∈ E P ( X ( 0 ) = i ) P ( X ( n ) = j ∣ X ( 0 ) = i ) = ∑ i ∈ E p i p i j ( n ) ( 0 ) \begin{aligned} p_j(n)&=P\{X(n)=j\}=P\{(X(n)=j)[\bigcup_{i\in E}(X(0)=i)]\}\\ &=P\{\bigcup_{i\in E}(X(n)=j, X(0)=i)\}\\ &=\sum_{i\in E} P(X(0)=i)P(X(n)=j\mid X(0)=i)\\ &=\sum_{i\in E}p_ip_{ij}^{(n)}(0) \end{aligned} pj​(n)​=P{X(n)=j}=P{(X(n)=j)[i∈E⋃​(X(0)=i)]}=P{i∈E⋃​(X(n)=j,X(0)=i)}=i∈E∑​P(X(0)=i)P(X(n)=j∣X(0)=i)=i∈E∑​pi​pij(n)​(0)​
即绝对概率$p_j(n)$由初始分布以及$n$步转移概率的唯一确定。

转移概率$p_{ij}^{(n)}$的遍历性与平稳分布

定义1

设齐次马氏链 { X ( n ) , n ≥ 1 } \{X(n), n\geq 1\} {X(n),n≥1}的状态空间为$E$，若对于所有状态$i,j\in E$，存在不依赖$i$的常数${\pi }_j$，其转移概率$p_{ij}^{(n)}$在$n\to \infty$时的极限，即
$$\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}={\pi }_j$$
则称该齐次马氏链具有遍历性，${\pi }_j$为状态$j$的稳态概率。

定义2

设 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}为一个齐次马氏链，若存在实数集合 { r j , j ∈ E } \{r_j, j\in E\} {rj​,j∈E}满足
$$\{\begin{array}{l}{r}_j\ge 0j\in E\\ \sum _{j\in E}{r}_j=1\\ r_j=\sum _{i\in E}{r}_i{p}_{ij}j\in E\end{array}$$
则称 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}为一个平稳齐次马氏链， { r j , j ∈ E } \{r_j, j\in E\} {rj​,j∈E}是该过程的一个平稳分布。使用$C-K$方程反复迭代计算$n$步转移概率
$$\begin{array}{rl}{r}_j& =\sum _{i\in E}{r}_i{p}_{ij}^{(1)}=\sum _{i\in E}(\sum _{k\in E}{r}_k{p}_{ki}^{(1)})p_{ij}^{(1)}\\ & =\sum _{k\in E}{r}_k(\sum _{i\in E}{p}_{ki}^{(1)}{p}_{ij}^{(1)})\\ & =\sum _{k\in E}{r}_k{p}_{kj}^{(2)}\\ & =\sum _{k\in E}(\sum _{l\in E}{r}_l{p}_{lk}^{(1)})p_{kj}^{(2)}\\ & =\sum _{l\in E}{r}_l{p}_{lj}^{(3)}=\cdots =\sum _{i\in E}{r}_i{p}_{ij}^{(n)}\end{array}$$

定理1

设 { X ( n ) , n = 0 , 1 , 2 , …   } \{X(n), n=0,1,2,\dots\} {X(n),n=0,1,2,…}是一个平稳齐次马氏链， P ( 0 ) = { p 1 ( 0 ) , p 2 ( 0 ) , … , p j ( 0 ) , …   } P(0)=\{p_1(0), p_2(0), \dots, p_j(0), \dots\} P(0)={p1​(0),p2​(0),…,pj​(0),…}为其初始分布，如果$P(0)$为$X(n)$的平稳分布时，则对任何$n\ge 1$，绝对概率等于初始概率，即
$$p_j(n)=p_j(0)$$
当 { p i ( 0 ) , i ∈ E } \{p_i(0), i\in E\} {pi​(0),i∈E}为平稳分布时，可以得到
$$p_j(n)=\sum _{i\in E}{p}_i(0)p_{ij}^{(n)}=p_j(0)$$
平稳分布是不因为转移步数变化而变化的分布。

定理2

设齐次马氏链 { X ( n ) , n ≥ 0 } \{X(n), n\geq 0\} {X(n),n≥0}的状态空间为 E = { 1 , 2 , … , N } E=\{1,2,\dots, N\} E={1,2,…,N}，如果存在正整数$m$，使得对任意的$i,j\in E$，其$m$步转移概率均大于$0$，即
$$p_{ij}^{(m)}>0i,j\in E$$
该链具有遍历性，且各状态稳态概率${\pi }_j,j\in E$为方程组$\pi =\pi P$，即
$${\pi }_j=\sum _{i=1}^N{\pi }_i{p}_{ij}j=1,2,\dots ,N$$
的唯一解，其中${\pi }_j$满足概率分布条件：
$$\begin{array}{rl}& {\pi }_j>0j=1,2,,\dots ,N\\ & \sum _{j=1}^N{\pi }_j=1\end{array}$$