柯尔莫哥洛夫微分方程

引理1： 设齐次马尔可夫过程满足正则性条件，则对于任意固定的$i,j\in I,p_{ij}(t)$是$t$的一致连续函数。

证明：设$h>0$，则有$$\begin{array}{rl}{p}_{ij}(t+h)-p_{ij}(t)& =\sum _{r\in I}{p}_{ir}(h)p_{rj}(t)-p_{ij}(t)\\ & =p_{ii}(h)p_{ij}(t)-p_{ij}(t)+\sum _{r\ne i}{p}_{ir}(h)p_{rj}(t)\\ & =-[1-p_{ii}(h)]p_{ij}(t)+\sum _{r\ne i}{p}_{ir}(h)p_{rj}(t),\end{array}$$故有$$p_{ij}(t+h)-p_{ij}(t)\ge -[1-p_{ii}(h)]p_{ij}(t)\ge -[1-p_{ii}(h)]$$$$p_{ij}(t+h)-p_{ij}(t)\le \sum _{r\ne i}{p}_{ir}(h)p_{rj}(t)\le \sum _{r\ne i}{p}_{ir}(h)=1-p_{ii}(h),$$因此$$|p_{ij}(t+h)-p_{ij}(t)|\le 1-p_{ii}(h).$$对于$h<0$，同样有$$\begin{array}{rl}{p}_{ij}(t)-p_{ij}(t+h)& =\sum _{r\in I}{p}_{ir}(-h)p_{rj}(t+h)-p_{ij}(t+h)\\ & =p_{ii}(-h)p_{ij}(t+h)-p_{ij}(t+h)+\sum _{r\ne i}{p}_{ir}(-h)p_{rj}(t+h)\\ & =-[1-p_{ii}(-h)]p_{ij}(t+h)+\sum _{r\ne i}{p}_{ir}(-h)p_{rj}(t+h)\end{array}$$故有$$p_{ij}(t)-p_{ij}(t+h)\ge -[1-p_{ii}(-h)]p_{ij}(t+h)\ge -[1-p_{ii}(-h)]$$$$\begin{array}{rl}{p}_{ij}(t)-p_{ij}(t+h)& \le \sum _{r\ne i}{p}_{ir}(-h)p_{rj}(t+h)\\ & \le \sum _{r\ne i}{p}_{ir}(-h)=1-p_{rj}(-h)\end{array}$$因此，$$|p_{ij}(t)-p_{ij}(t+h)|\le 1-p_{ii}(-h).$$综上所述，一般地有$$|p_{ij}(t+h)-p_{ij}(t)|<1-p_{ii}(|h|)$$由正则性条件知$$\underset{h\to 0}{\lim }|p_{ij}(t+h)-p_{ij}(t)|=0,$$即$p_{ij}(t)$关于$t$是一致连续的，证毕。

定理1： 设$p_{ij}(t)$是齐次马尔可夫过程的转移概率，则下列极限存在：
（1）$\underset{\Delta t\to 0}{\lim }\frac{1-p_{ii}(\Delta t)}{\Delta t}=v_i=q_{ii}\le \infty ;$
（2）$\underset{\Delta t\to 0}{\lim }\frac{p_{ij}(\Delta t)}{\Delta t}=q_{ij}=\infty ,i\ne j.$

称$q_{ij}$为齐次马尔可夫过程从状态$i$到状态$j$的转移速率或跳跃巧渡

推论1： 对有限状态的齐次马尔可夫过程，$$q_{ii}=\sum _{j\ne i}{q}_{ij}<\infty$$

证：因为有$$\sum _{j\in I}{p}_{ij}(\Delta t)=1,$$即$$1-p_{ii}(\Delta t)=\sum _{j\ne i}{p}_{ij}(\Delta t).$$由于求和是在有限集中进行，故有$$\underset{\Delta t\to 0}{\lim }\frac{1-p_{ii}(\Delta t)}{\Delta t}=\underset{\Delta t\to 0}{\lim }\sum _{j\ne t}\frac{p_{ij}(\Delta t)}{\Delta t}=\sum _{j\ne i}{q}_{ij}$$即$$q_{ii}=\sum _{j\ne i}{q}_{ij}$$证毕。
 对于状态空间无限的齐次马尔科夫过程，一般只有$$q_{ii}\ge \sum _{j\ne i}{q}_{ij}.$$
 若连续时间齐次马尔可夫链是具有有限状态空间 I = { 0 , 1 , ⋯   , n } I=\{0,1,\cdots,n\} I={0,1,⋯,n}，则其转移速率可构成以下形式的矩阵$$\mathbf{Q}=\left(\begin{array}{rrrr}-q_{00}& q_{01}& \cdots & q_{0n}\\ q_{10}& -q_{11}& \cdots & q_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ q_{n0}& q_{n1}& \cdots & -q_{nn}\end{array}\right)$$$\mathbf{Q}$矩阵的每一行元素之和为$0$，对角线元素为负或$0$，其余$i\ne j$时，$q_{ij}\ge 0$。
 利用$\mathbf{Q}$矩阵可以推出任意时间间隔$t$的转移概率所满足的方程组，从而可以求解转移概率。
 由切普曼-柯尔莫哥洛夫方程有$$p_{ij}(t+h)=\sum _{k\in I}{p}_{ik}(h)p_{kj}(t),$$或等价地$$p_{ij}(t+h)-p_{ij}(t)=\sum _{k\ne i}{p}_{ik}(h)p_{kj}(t)-[1-p_{ii}(h)]p_{ij}(t)$$两边除以$h$后令$h\to 0$，取极限，可得$$\underset{h\to 0}{\lim }\frac{p_{ij}(t+h)-p_{ij}(t)}{h}=\underset{h\to 0}{\lim }\sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)-q_{ii}{p}_{ij}(t)$$上式的右边可交换极限与求和，于是得到下面结论。

定理2：（柯尔莫哥洛夫向后方程）假设$\sum _{k\ne i}{q}_{ik}=q_{ii}$，则对一切$i,j$及$t\ge 0$，有$$p_{ij}^{\prime }(t)=\sum _{k\ne i}{q}_{ik}{p}_{kj}(t)-q_{ii}{p}_{ij}(t)$$

证明：对于任意固定的$N$，有$$\underset{h\to 0}{\lim }\inf \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\ge \underset{h\to 0}{\lim }\inf \sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}\frac{p_{ik}(h)}{h}{p}_{kj}(t)=\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}{q}_{ik}{p}_{kj}(t),$$因为上式对一切$N$成立，可见$$\underset{h\to 0}{\lim }\inf \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\ge \sum _{k\ne i}{q}_{ik}{p}_{kj}(t)$$为了倒转不等式，注意对于$N>i$，由于$p_{kj}(t)\le 1$，所以$$\begin{array}{rl}\underset{h\to 0}{\lim }\sup \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)& \le \underset{h\to 0}{\lim }\sup [\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}\frac{p_{ik}(h)}{h}{p}_{kj}(t)+\sum _{k\le N}\frac{p_{ik}(h)}{h}]\\ & \le \underset{h\to 0}{\lim }\sup [\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}\frac{p_{ik}(h)}{h}{p}_{kj}(t)+\frac{1-p_{ii}(h)}{h}-\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}\frac{p_{ik}(h)}{h}]\\ & =\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}{q}_{ik}{p}_{kj}(t)+q_{ii}-\sum _{\genfrac{}{}{0ex}{}{k\ne i}{k<N}}{q}_{ik}\end{array}$$因为上述不等式对一切$N>i$成立，令$N\to \infty$且由$\sum _{k\ne i}{q}_{ik}=q_{ii}$，可以得到$$\underset{h\to 0}{\lim }\sup \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\le \sum _{k\ne i}{q}_{ik}{p}_{kj}(t)$$进一步可得$$\underset{h\to 0}{\lim }\sum _{k\ne i}\frac{p_{jk}(h)}{h}{p}_{kj}(t)=\sum _{k\ne i}{q}_{ik}{p}_{kj}(t)$$证毕。
  上定理中$p_{ij}(t)$满足的微分方程组称为柯尔莫哥洛夫向后方程或向后方程，是因为在计算时刻$t+h$的状态的概率分布时对退后到时刻$h$的状态取条件，即从 p i j ( t + h ) = ∑ k ∈ I P { X ( t + h ) = j ∣ X ( 0 ) = i , X ( h ) = k } ⋅ P { X ( h ) = k ∣ X ( 0 ) = i } = ∑ k ∈ I p k j ( t ) p i k ( h ) \begin{aligned}p_{ij}(t+h)&=\sum\limits_{k \in I}P\{X(t+h)=j|X(0)=i,X(h)=k\}\cdot P\{X(h)=k|X(0)=i\}\\&=\sum\limits_{k\in I}p_{kj}(t)p_{ik}(h)\end{aligned} pij​(t+h)​=k∈I∑​P{X(t+h)=j∣X(0)=i,X(h)=k}⋅P{X(h)=k∣X(0)=i}=k∈I∑​pkj​(t)pik​(h)​
  对时刻$t$的状态取条件，可以导出另一组方程，称为柯尔莫哥洛夫向前方程，可得$$p_{ij}(t+h)=\sum _{k\in I}{p}_{ik}(t)p_{kj}(h)$$或$$\begin{array}{rl}{p}_{ij}(t+h)-p_{ij}(t)& =\sum _{k\in I}{p}_{ik}(t)p_{kj}(h)-p_{ij}(t)\\ & =\sum _{k\ne j}{p}_{ik}(t)p_{kj}(h)-[1-p_{jj}(h)]p_{ij}(t)\end{array}$$所以$$\underset{h\to 0}{\lim }\frac{p_{ij}(t+h)-p_{ij}(t)}{h}=\underset{h\to 0}{\lim }\left\{\sum _{k\ne j}{p}_{ik}(t)\frac{p_{kj}(h)}{h}-\frac{1-p_{jj}(h)}{h}{p}_{ij}(t)\right\}$$

定理3：（柯尔莫哥洛夫前向方程）在适当的正则条件下，柯尔莫哥洛夫前向方程表示为$$p_{ij}^{\prime }(t)=\sum _{k\ne j}{p}_{ik}(t)q_{kj}-p_{ij}(t)q_{jj}$$初始条件为$$\{\begin{array}{ll}{p}_{ij}(0)=1,& i=j,\\ p_{ij}(0)=0,& i\ne j\end{array}$$

向后方程和向前方程可以写成矩阵形式：$$\begin{array}{rl}{\mathbf{P}}^{\prime }(t)& =\mathbf{Q}\mathbf{P}(t),\\ {\mathbf{P}}^{\prime }(t)& =\mathbf{P}(t)\mathbf{Q},\end{array}$$其中矩阵$\mathbf{Q}$为$$\mathbf{Q}=\left(\begin{array}{rrrr}-q_{00}& q_{01}& q_{02}& \cdots \\ q_{10}& -q_{11}& q_{12}& \cdots \\ q_{20}& q_{21}& -q_{22}& \cdots \\ \cdots & \cdots & \cdots & \cdots \end{array}\right)$$矩阵${\mathbf{P}}^{\prime }(t)$的元素为矩阵$\mathbf{P}(t)$的元素的导数，而$$\mathbf{P}(t)=\left(\begin{array}{rrrr}{p}_{00}(t)& p_{01}(t)& p_{02}(t)& \cdots \\ p_{10}(t)& p_{11}(t)& p_{12}(t)& \cdots \\ p_{20}(t)& p_{21}(t)& p_{22}(t)& \cdots \\ \cdots & \cdots & \cdots & \cdots \end{array}\right)$$若$\mathbf{Q}$是一个有限维矩阵，则有$$\mathbf{P}(t)={\mathrm{e}}^{\mathbf{Q}t}=\sum _{j=0}^{\infty }\frac{(\mathbf{Q}t{)}^j}{j!}$$

定理4： 齐次马尔可夫过程在$t$时刻处于状态$j\in I$的绝对概率$p_j(t)$满足下列方程：$$p_j^{\prime }(t)=-p_j(t)q_{jj}+\sum _{k\ne j}{p}_k(t)q_{kj}$$

证：已知$$p_j(t)=\sum _{i\in I}{p}_i{p}_{ij}(t)$$将向前方程两边乘以$p_i$，并对$i$求和得$$\sum _{i\in I}{p}_i{p}_{ij}^{\prime }(t)=\sum _{i\in I}(-p_i{p}_{ij}(t)q_{jj})+\sum _{i\in I}\sum _{k\ne j}{p}_i{p}_{ik}(t)q_{kj}$$故$$p_j^{\prime }(t)=-p_j(t)q_{jj}+\sum _{k\ne j}{p}_k(t)q_{kj}$$证毕。

定义1： 设$p_{ij}(t)$为连续马尔可夫链的转移概率，若存在时刻$t_1$和$t_2$使得$$p_{ij}(t_1)>0,p_{ji}(t_2)>0,$$则称状态$i$与$j$是互通的。若所有状态都是互通的，则称马尔可夫链为不可约的。

定理5： 设连续时间的马尔可夫链是不可约的，则有下列性质：
（1）若它是正常返的，则极限$\underset{t\to \infty }{\lim }{p}_{ij}(t)$存在且等于${\pi }_j>0,j\in I$。这里${\pi }_j$是方程组$$\{\begin{array}{rl}{\pi }_j{q}_{jj}& =\sum _{k\ne j}{\pi }_k{q}_{kj},\\ \sum _{j\in I}{\pi }_j& =1\end{array}$$的唯一非负解。此时称 { π j , j ∈ I } \{\pi_j,j\in I\} {πj​,j∈I}是该过程的平稳分布，并且有$$\underset{t\to \infty }{\lim }{p}_j(t)={\pi }_j$$(2)若它是零常返的或非常返的，则$$\underset{t\to \infty }{\lim }{p}_{ij}(t)=\underset{t\to \infty }{\lim }{p}_j(t)=0,i,j\in I$$