连续时间的马尔可夫链

定义1：设随机过程 { X ( t ) , t ≥ 0 } \{X(t),t\ge 0\} {X(t),t≥0}，状态空间 I = { i 0 , n ≥ 0 } I=\{i_0,n\ge 0\} I={i0​,n≥0}，若对任意$0\le t_1\le t_2\cdots t_{n+1}$及$i_1,i_2,\cdots ,i_{n+1}\in I$，有 P { X ( t n + 1 ) = i n + 1 ∣ X ( t 1 ) = i 1 , X ( t 2 ) = i 2 , ⋯   , X ( t n ) = i n } = P { X ( t n + 1 ) = i n + 1 ∣ X ( t n ) = i n } P\{X(t_{n+1})=i_{n+1}|X(t_1)=i_1,X(t_2)=i_2,\cdots,X(t_n)=i_n\}=P\{X(t_{n+1})=i_{n+1}|X(t_n)=i_n\} P{X(tn+1​)=in+1​∣X(t1​)=i1​,X(t2​)=i2​,⋯,X(tn​)=in​}=P{X(tn+1​)=in+1​∣X(tn​)=in​}则称 { X ( t ) , t ≥ 0 } \{X(t),t\ge 0\} {X(t),t≥0}为连续时间马尔可夫链。

 由定义知，连续时间马尔可夫链是具有马尔可夫性随机过程，即过程在已知现在时间$t_n$及一切过去时刻所处状态的条件下，将来时刻$t_{n+1}$的状态只依赖现在的状态而与过去无关。定义中条件概率的一般形式为 P { X ( s + t ) = j ∣ X ( s ) = i } = p i j ( s , t ) P\{X(s+t)=j|X(s)=i\}=p_{ij}(s,t) P{X(s+t)=j∣X(s)=i}=pij​(s,t)它表示系统在$s$时刻处于状态$i$，经过时间$t$后转移到状态$j$的转移概率。

定义2： 若上式的转移概率与$s$无关，则称连续时间马尔可夫连续链具有平稳或齐次的转移概率，此时转移概率简记为$$p_{ij}(s,t)=p_{ij}(t)$$其转移概率矩阵简记为$\mathbf{P}(t)=(p_{ij}(t))(i,j\in I,t\ge 0)$。

 假设在某个时刻，比如说时刻$0$，马尔可夫链进入状态$i$，而且在接下来的$s$个单位时间内过程未离开状态$i$（即未发生转移），问在随后的$t$个单位时间内过程仍不离开状态$i$的概率是多少呢？由马尔可夫性我们知道，过程在时刻$s$处于状态$i$条件下，在区间$[s,s+t]$内仍然处于状态$i$的概率正是它处于状态$i$至少$t$个单位时间的（无条件）概率。若即${\tau }_i$为过程在转移到另一状态之前状态$i$的时间，则对一切$s,t\ge 0$，有 P { τ i > s + t ∣ τ i > s } = P { τ i > t } P\{\tau_i >s+t|\tau_i>s\}=P\{\tau_i>t\} P{τi​>s+t∣τi​>s}=P{τi​>t}可见，随机变量${\tau }_i$具有无记忆性，因此${\tau }_i$服从指数分布。
 由此可见，一个连续时间马尔可夫链，当它进入状态$i$时，具有如下性质：
（1）在转移到另一个状态之前处于状态$i$的时间服从指数为$v_i$的指数分布。
（2）当过程离开状态$i$时，接着以概率$p_{ij}$进入状态$j$，且$\sum _{j\ne i}{p}_{ij}=1$
 当$v_i=\infty$时，称状态$i$为瞬时状态，因为过程一旦进入此状态立即就离开。若$v_i=0$，则称此状态$i$为吸收状态，因为过程一旦进入此状态就永远不再离开了。

定理1：齐次马尔可夫过程的转移概率具有下列性质：
（1）$p_{ij}\ge 0;$
（2）$\sum _{j\in I}{p}_{ij}(t)=1;$
（3）$p_{ij}(t+s)=\sum _{k\in I}{p}_{ik}(t)p_{kj}(s)$

证： （1）和（2）式由概率定义及$p_{ij}(t)$的定义易知，下面证明（3）式，由全概率公式及马尔可夫性可得 p i j ( t + s ) = P { X ( t + s ) = j ∣ X ( 0 ) = i } = ∑ k ∈ I P { X ( t + s ) = j , X ( t ) = k ∣ X ( 0 ) = i } = ∑ k ∈ I P { X ( t ) = k ∣ X ( 0 ) = i } P { X ( t + s ) = j ∣ X ( t ) = k } = ∑ k ∈ I P { X ( t ) = k ∣ X ( 0 ) = i } P { X ( s ) = j ∣ X ( 0 ) = k } = ∑ k ∈ I p i k ( t ) p k j ( s ) \begin{aligned}p_{ij}(t+s)&=P\{X(t+s)=j|X(0)=i\}\\&=\sum\limits_{k \in I}P\{X(t+s)=j,X(t)=k|X(0)=i\}\\&=\sum\limits_{k \in I}P\{X(t)=k|X(0)=i\}P\{X(t+s)=j|X(t)=k\}\\&=\sum\limits_{k \in I}P\{X(t)=k|X(0)=i\}P\{X(s)=j|X(0)=k\}\\&=\sum\limits_{k\in I}p_{ik}(t)p_{kj}(s)\end{aligned} pij​(t+s)​=P{X(t+s)=j∣X(0)=i}=k∈I∑​P{X(t+s)=j,X(t)=k∣X(0)=i}=k∈I∑​P{X(t)=k∣X(0)=i}P{X(t+s)=j∣X(t)=k}=k∈I∑​P{X(t)=k∣X(0)=i}P{X(s)=j∣X(0)=k}=k∈I∑​pik​(t)pkj​(s)​
 对于转移概率$p_{ij}(t)$，一般还假定它满足：$$\underset{t\to 0}{\lim }{p}_{ij}(t)=\{\begin{array}{ll}1,& i=j,\\ 0,& i\ne j.\end{array}$$以上公式为正则性条件。

定义3： 对于任一$t\ge 0$，记 p j ( t ) = P { X ( t ) = j } , p_j(t)=P\{X(t)=j\}, pj​(t)=P{X(t)=j}, p j = p j ( 0 ) = P { X ( 0 ) = j } , j ∈ I p_j=p_j(0)=P\{X(0)=j\},\quad j \in I pj​=pj​(0)=P{X(0)=j},j∈I分别称 { p j ( t ) , j ∈ I } \{p_j(t),j\in I\} {pj​(t),j∈I}和 { p j , j ∈ I } \{p_j,j\in I\} {pj​,j∈I}为齐次马尔科夫过程的绝对概率分布和初始概率分布。

定理2： 齐次马尔科夫过程的绝对概率及其有限维概率分布具有下列性质：
（1）$p_j(t)\ge 0;$
（2）$\sum _{j\in I}{p}_j(t)=1;$
（3）$p_j(t)=\sum _{i\in I}{p}_i{p}_{ij}(t);$
（4）$p_j(t+\tau )=\sum _{i\in I}{p}_i(t)p_{ij}(\tau );$
（5） P { X ( t 1 ) = i 1 , X ( t 2 ) = i 2 , ⋯   , X ( t n ) = i n } = ∑ i ∈ I p i p i i 1 ( t ) p i 1 i 2 ( t 2 − t 1 ) ⋯ p i n − 1 i n ( t n − t n − 1 ) P\{X(t_1)=i_1,X(t_2)=i_2,\cdots,X(t_n)=i_n\}=\sum\limits_{i\in I}p_ip_{ii_1}(t)p_{i_1i_2}(t_2-t_1)\cdots p_{i_{n-1i_n}}(t_n-t_{n-1}) P{X(t1​)=i1​,X(t2​)=i2​,⋯,X(tn​)=in​}=i∈I∑​pi​pii1​​(t)pi1​i2​​(t2​−t1​)⋯pin−1in​​​(tn​−tn−1​)