随机过程 Markov 链（下）

随机过程 Markov 链（下）

Markov 链的应用

群体消失模型（分支过程）

考虑一个没有性别的群体，每个个体生命结束时以概率 $p_j(j=0,1,2,\cdots )$ 产生 $j$ 个新的后代，与别的个体产生的后代个数相互独立。初始个体数 $X_0$ ，此 Markov 链 { X n ,   n = 0 ,   1 ,   2 ,   ⋯   } \{X_n,\,n=0,\,1,\,2,\,\cdots\} {Xn​,n=0,1,2,⋯} 称为分支过程。

首先假设 $X_0=1$ ，即：
$$X_n=\sum _{i=1}^{X_{n-1}}{Z}_{n-1,i}$$
其中 $Z_{n,i}$ 代表第 $n$ 代的第 $i$ 个成员的后代个数。

首先来考虑第 $n$ 代的平均个体数 $E(X_n)$ 。令每个个体后代数目均值 $\mu =\sum _{i=0}^{\infty }i{p}_i$ 对 $X_n$ 取条件期望，有：
$$\begin{array}{rl}E(X_n)=& E[E(X_n|X_n-1)]\\ =& \mu E(X_{n-1})\\ =& \cdots \\ =& {\mu }^n\end{array}$$

• 若 $\mu <1$ ，则平均个体数单调下降趋于 $0$ ；
• 若 $\mu =1$ ，则各代平均个体数相同；
• 若 $\mu >1$ ，平均个体数按指数阶上升至无穷。

下面考虑群体最终会消亡的概率 ${\pi }_0$ 。对第一代个体数取条件，得：
$$\begin{array}{rl}{\pi }_0=& P(\text{群体消亡})\\ =& \sum _{j=0}^{\infty }P(\text{群体消亡}|X_1=j)\cdot p_j\\ =& \sum _{j=0}^{\infty }{\pi }_0^j{p}_j\end{array}$$
可以认为第一代的每个个体是一个群体的开端，则最终灭绝的概率为每一个群体都灭绝，即 ${\pi }_0^j$ （有点更新方程的意思）。

Th：设 $0<p_0<1$ ， ${\pi }_0=1$ 的充要条件为 $\mu \le 1$ ；

（当然 $p_0=1$ 一定会灭绝，$p_0=0$ 一定不会灭绝，我们不考虑这两种平凡的情况）

记 $F({\pi }_0)=\sum _{j=0}^{\infty }{\pi }_0^j{p}_j$ ，则 ${\pi }_0=F({\pi }_0)$ 代表 $y=x$ 和 $y=F(x)$ 两条曲线的交点。比如 $(1,1)$ 显然是一个交点；当 $p_0+p_1=1$ 时，$y=F(x)$ 就是一条直线；一般情况下，$p_0+p_1<1$，有：
$$\begin{array}{rl}{F}^{\prime }(x)=& \sum _{j=1}^{\infty }j{x}^{j-1}{p}_j>0,0<x<1\\ F^{\prime \prime }(x)=& \sum _{j=2}^{\infty }j(j-1)x^{j-2}{p}_j>0,0<x<1\end{array}$$
因此 $F(x)$ 是一个单调递增的 convex 函数：

• 当 $p_0+p_1=1$ 时，只有一个交点 $(1,1)$ ，即 ${\pi }_0=1$ ，该群体必然会消亡；此时也有 $\mu =\sum _{j=0}^{\infty }j{p}_j=p_1<1$ ；

• 当 $p_0+p_1<1$ 时，$y=F(x)$ 与 $y=x$ 可能会有至多两个交点，其中一个交点为 $(1,1)$ ，另一个交点可能在 $[0,1)$ ，也可能在 $(1,\infty )$ ；由于 ${\pi }_0$ 代表概率，所以只有可能出现在 $[0,1]$ 中

  • $[0,1)$ 时，存在一个交点 $(s,s)$ 且 $s=F(s)$ ，可以用归纳法证明 ${\pi }_0$ 是 $s$ 而不是 $1$ ：

    我们假设 $\pi$ 是 { π   ∣   F ( x ) = x } \{\pi\,|\,F(x)=x\} {π∣F(x)=x} 集合中的元素，即交点构成的集合中的其中一个交点：

    ① 当 $n=1$ 时（第一代），有：
    $$\pi =\sum _{j=0}^{\infty }{\pi }^j{p}_j\ge {\pi }^0{p}_0=p_0=P(X_1=0)$$
    ② 假设 $\pi \ge P(X_n=0)$ ，则：
    $$\begin{array}{rl}P(X_{n+1}=0)=& \sum _{j=0}^{\infty }P(X_{n+1}=0|X_1=j)\cdot p_j\\ =& \sum _{j=0}^{\infty }P(X_n=0{)}^j\cdot p_j\\ \le & \sum _{j=0}^{\infty }{\pi }^j\cdot p_j=\pi \end{array}$$
    因此对于任意 $n$ ，都有 $\pi \ge P(X_n=0)$ ，因此 $\pi \ge \underset{n\to \infty }{\lim }P(X_n=0)=P(\text{群体最终会灭绝})={\pi }_0$ ，故 ${\pi }_0$ 是所有根中最小的，因此是 s

  在这种情况下，群体灭绝的概率不为 1，此时 $\mu =F^{\prime }(1)>1$ （就是说如果有一个小于 1 的交点的话，$y=F(x)$ 在 1 处肯定是向上翘的）

• $(1,\infty )$ 或者没有第二个交点时，只能是 ${\pi }_0=1$ ，此时 $\mu =F^{\prime }(1)\le 1$ （就是说如果有一个大于 1 的交点的话，$y=F(x)$ 在 1 处肯定比 $y=x$ 要更平缓；如果没有其他交点的话，则 $y=F(x)$ 与 $y=x$ 在 1 处相切）

综上，在所有 $y=F(x)$ 与 $y=x$ 的交点情况中，都有 ${\pi }_0=1⟺\mu \le 1$ ，得证。

人口结构变化的 Markov 链模型

考虑一个社会的教育水平和文化程度的发展变化，将全国 16 岁以上的人口分为 7 个文化水平，结构的变化为升级、退化、进入（16 岁的人变多了）、迁出（移民或去世）。用 $(n_1(t),n_2(t),\cdots ,n_7(t))$ 表示第 $t$ 年各文化水平的人数，$N(t)=\sum _{i=1}^7{n}_i(t)$ 为第 $t$ 年 16 岁以上的人口总数。

以 $q_{ij}$ 记每年从 $i$ 级转为 $j$ 级的百分比，则 $Q=(q_{ij}{)}_{7\times 7}$ 是一个准转矩阵（因为还有迁出的人，因此每行的元素之和 $\le 1$ ）

考虑迁入迁出，以 $w_i$ 记录每年从 $i$ 级迁出占 $i$ 级人数的百分比，则 $\sum _{j=1}^7{q}_{ij}+w_i=1$ ；记 $r_i$ 为每年进入 $i$ 级的人数占总进入人数的比例，则 $\sum _{i=1}^7{r}_i=1$ ；

记 $R(t)$ 为总进入人数，$W(t)$ 为总迁出人数，则：
$$\begin{array}{rl}N(t+1)=& N(t)+R(t)-W(t)\\ n_j(t+1)=& \sum _{i=1}^7{n}_i(t)q_{ij}+r_{j}R(t)-n_j(t)w_j\end{array}$$
令 16 岁以上人口变化为 $M(t)$ ，增长率为 $\alpha$（可能为负增长）：
$$\begin{array}{rl}M(t)=& N(t+1)-N(t)=R(t)-W(t)=\alpha N(t)\\ \alpha =& \frac{N(t+1)}{N(t)}-1\end{array}$$
于是
$$\begin{array}{rl}\text{各文化水平人数占比}=\frac{n_j(t+1)}{N(t+1)}=& \frac{N(t)}{N(t+1)}\left[\sum _{i=1}^7\frac{n_i(t)}{N(t)}{q}_{ij}+r_j\frac{R(t)}{N(t)}-w_j\frac{n_j(t)}{N(t)}\right]\\ =& \frac{1}{1+\alpha }\left[\sum _{i=1}^7\frac{n_i(t)}{N(t)}{q}_{ij}+r_j\frac{R(t)}{N(t)}-w_j\frac{n_j(t)}{N(t)}\right]\end{array}$$
记各文化水平人数占比为 $a_j(t)=\frac{n_j(t)}{N(t)}$ ，记 $a(t)=(a_1(t),a_2(t),\cdots ,a_7(t))$ ，则上式写成：
$$a_j(t+1)=\frac{1}{1+\alpha }\left[\sum _{i=1}^7{a}_i(t)q_{ij}+r_j\frac{R(t)}{N(t)}-a_i(t)w_j\right]$$
由 $R(t)=M(t)+W(t)=\alpha N(t)+\sum _{j=1}^7{n}_j(t)w_j$ ，则上式写成：
$$a_j(t+1)=\frac{1}{1+\alpha }\left[\sum _{i=1}^7{a}_i(t)(q_{ij}+r_j{w}_i)-a_i(t)w_j+\alpha r_j\right]$$
特别地，当 $\alpha =0$ 时，有：
$$a_j(t+1)=\sum _{i=1}^7{a}_i(t)(q_{ij}+r_j{w}_i)-a_i(t)w_j$$
记 $\tilde{P}=({\tilde{p}}_{ij})$ ，其中：
$${\tilde{p}}_{ij}=\{\begin{array}{lc}{q}_{ij}+r_j{w}_i& i\ne j\\ q_{jj}+r_j{w}_j-w_j& i=j\end{array}$$
则上式直接变成 $a(t+1)=a(t)\cdot \tilde{P}$ （这个是矩阵相乘），所以 $\tilde{P}$ 才是实际上的 Markov 转移矩阵。

在实际中，我们希望文化水平过低或者过高的人不需要太多，人口结构维持一个合理稳定的水平 $a^{\ast }$ 。比如在瓷器国，通过考试可以控制人口进入各级的比例 $r=(r_1,r_2,\cdots ,r_7)$ 来尽快达到这个稳定水平。（后边看不懂，不想看了）

连续时间 Markov 链

定义与性质

连续时间 Markov 链：过程 { X ( t ) ,   t ≥ 0 } \{X(t),\,t\geq 0\} {X(t),t≥0} 的状态空间 $S$ 为离散空间（记为 { 0 ,   1 ,   ⋯   } \{0,\,1,\,\cdots\} {0,1,⋯} ），若对一切 $s,t\ge 0$ 及 $i,j\in S$ ，有：
$$P(X(t+s)=j|X(s)=i,X(u)=x(u),0\le u\le s)=P(X(t+s)=j|X(s)=i)$$
成立（即将来的状态只和当前的状态有关），则称该过程为连续时间 Markov 链。此时转移概率 $p_{ij}(s,t)$ 为条件概率 $P(X(t+s)=j|X(s)=i)$ ，转移概率矩阵为 $P(s,t)=(p_{ij}(s,t))$

时齐 Markov 链：这里的时齐概念有点不一样，若 $p_{ij}(s,t)$ 与 $s$ 无关，简记 $p_{ij}(s,t)=p_{ij}(t)$ ，相应地记为 $P_{ij}(t)=(p_{ij}(t))$

（我们后边也只讨论时齐的 Markov 链）

Th：对于连续时间 Markov 链 { X ( t ) ,   t ≥ 0 } \{X(t),\,t\geq 0\} {X(t),t≥0} ，假设时刻 0 过程刚刚到达 $i(i\in S)$ ，以 ${\tau }_i$ 记过程在离开 $i$ 之前停留的时间，则 ${\tau }_i$ 服从指数分布。

证明：之前概率论的时候有学过，连续型随机变量的分布里只有指数分布是具有无记忆性的（可以证明，虽然我证不出来），所以我们只需证明对 $s,t\ge 0$ ，有：
$$P({\tau }_i>s+t|{\tau }_i>s)=P({\tau }_i>t)$$
注意到：
{ τ i > s }    ⟺      { X ( u ) = i ,   0 < u ≤ s   ∣   X ( 0 ) = i } { τ i > s + t }    ⟺      { X ( u ) = i ,   0 < u ≤ s ,   X ( v ) = i ,   s < v ≤ s + t   ∣   X ( 0 ) = i } \begin{align} \{ \tau_i \gt s \} \iff&\, \{ X(u)=i,\,0\lt u\leq s \,|\, X(0)=i \} \\ \{ \tau_i \gt s+t \} \iff&\, \{ X(u)=i,\,0\lt u\leq s ,\, X(v)=i,\,s\lt v \leq s+t \,|\, X(0)=i \} \end{align} {τi​>s}⟺{τi​>s+t}⟺​{X(u)=i,0<u≤s∣X(0)=i}{X(u)=i,0<u≤s,X(v)=i,s<v≤s+t∣X(0)=i}​​
则：
$$\begin{array}{rl}& P({\tau }_i>s+t|{\tau }_i>s)\\ =& P(X(v)=i,s<v\le s+t|X(u)=i,0<u\le s)\\ =& P(X(v)=i,s<v\le s+t)\\ =& P(X(v)=i,0<v\le t)\\ =& P({\tau }_i>t)\end{array}$$
即 $\tau$ 具有无记忆性，因此服从指数分布，得证。

因此，我们可以从另一种角度理解连续时间 Markov 链：

• 在转移到下一种状态之前，处于状态 $i$ 的时间服从参数为 ${\mu }_i$ 的指数分布；
• 在过程离开状态 $i$ 时，将以概率 $p_{ij}$ 到达 $j$ ，并且 $\sum _{j\in S}{p}_{ij=1}$

若 ${\mu }_i=\infty$ ，则状态 $i$ 上停留的时间为 0，称状态 $i$ 为瞬过状态。我们一般假设 Markov 链中不存在瞬过状态（因为瞬过状态其实也可以合并到其他状态上）。

若 ${\mu }_i=0$ ，则一旦进入状态 $i$ ，停留的平均时间为无限长，这样的状态称为吸收状态。

连续时间 Markov 链是一个做如下运动的随机过程：它以一个 Markov 链的方式在各种状态之间转移，在两次转移之间以指数分布停留。并且这个指数分布仅与当前所处状态有关，而与下一个将要转移的状态独立。

正则性：若一个连续时间 Markov 链以概率 1 在任意有限长的时间内转移的次数是有限的，则称它是正则的。（我去查了一些资料，有些把这个叫做 Feller 性质或者正常性，而正则性指对于所有的初始状态，它们最终都能够达到同一个稳定分布）

正则的连续时间 Markov 链可以得到以下连续性条件：
$$\underset{t\to 0}{\lim }{p}_{ij}(t)={\delta }_{ij}=\{\begin{array}{lc}1& i=j\\ 0& i\ne j\end{array}$$

（这一节的例题可以看连续时间 Markov 链的应用，主要是判断某个过程是否是连续时间的 Markov 链，以及如何计算转移概率）

Kolmogorov 微分方程

离散时间 Markov 链的 $n$ 步转移矩阵，可以直接由转移矩阵的 $n$ 次方得到。但是连续时间的就比较复杂，我们先考虑 $p_{ij}(t)$ 的一些性质。

连续时间 Markov 链转移概率的性质：

• $p_{ij}(t)\ge 0$ ；
• $\sum _{j\in S}{p}_{ij}(t)=1$ ；
• C-K 方程： $p_{ij}(t+s)=\sum _{k\in S}{p}_{ik}(t)p_{kj}(t)$ ；

证明：第一和第二点根据定义显然可以知道。现在证明第三点（其实也挺显然的）：
$$\begin{array}{rl}{p}_{ij}(t+s)=& P(X(t+s)=j|X(0)=i)\\ =& \sum _{k\in S}P(X(t+s)=j,X(t)=k|X(0)=i)\\ =& \sum _{k\in S}P(X(t+s)=j|X(t)=k,X(0)=i)\cdot P(X(t)=k|X(0)=i)\\ =& \sum _{k\in S}P(X(t+s)=j|X(t)=k)p_{ik}(k)\\ =& \sum _{k\in S}{p}_{ik}(k)p_{kj}(s)\end{array}$$

• 第二行到第三行可以这样理解，记 $A$ 为事件 $X(t+s)=j$ ，$B$ 为事件 $X(t)=k$ ，$C$ 为事件 $X(0)=i$ ，则：

$$\begin{array}{rl}& P(X(t+s)=j,X(t)=k|X(0)=i)\\ =& P(AB|C)\\ =& \frac{P(ABC)}{P(C)}\\ =& P(A|BC)P(B|C)\\ =& \frac{P(ABC)}{P(BC)}\frac{P(BC)}{P(C)}\\ =& P(X(t+s)=j|X(t)=k,X(0)=i)P(X(t)=k|X(0)=i)\end{array}$$

• 第三行到第四行是 Markov 链的定义，转移概率与过去的状态无关

Th ：$q_{ij}$ 称为状态 $i$ 转移到状态 $j$ 的转移速率，具有以下性质：（没有证明，估计有点困难）

• $\underset{t\to 0}{\lim }\frac{1-p_{ii}(t)}{t}=q_{ii}\le +\infty$ ；
• $\underset{t\to 0}{\lim }\frac{p_{ij}(t)}{t}=q_{ij}<+\infty$ ；

推论：对有限状态时齐的连续时间 Markov 链，有：
$$q_{ii}=\sum _{j\ne i}{q}_{ij}<+\infty$$
证明：有 $\sum _{j\in S}{p}_{ij}(t)=1$ ，即 $1-p_{ii}(t)=\sum _{j\ne i}{p}_{ij}(t)$ ，故：（中间有一步交换极限和求和的顺序，因为状态有限，所以可以交换）
$$\begin{array}{rl}\underset{t\to 0}{\lim }\frac{1-p_{ii}(t)}{t}=& \underset{t\to 0}{\lim }\sum _{j\ne i}\frac{p_{ij}(t)}{t}\\ =& \sum _{j\ne i}\underset{t\to 0}{\lim }\frac{p_{ij}(t)}{t}\\ =& \sum _{j\ne i}{q}_{ij}<\infty \end{array}$$
Tip：对于无限状态的情况，一般只能得到 $q_{ij}\ge \sum _{j\ne i}{q}_{ij}$ ；为简单起见，设状态空间为 S = { 1 ,   2 ,   ⋯   } S=\{1,\,2,\,\cdots\} S={1,2,⋯} ，此时记：
$$Q=\left[\begin{array}{ccccccc}-q_{11}& q_{12}& q_{13}& \cdots & q_{1i}& \cdots & \\ q_{21}& -q_{22}& q_{23}& \cdots & q_{2i}& \cdots & \\ ⋮& ⋮& ⋮& & ⋮& & \\ q_{i1}& q_{i2}& q_{i3}& \cdots & -q_{ii}& \cdots & \\ ⋮& ⋮& ⋮& & ⋮& & \end{array}\right]$$
称为连续时间 Markov 链的 Q-矩阵 。当矩阵元素 $q_{ii}=\sum _{j\ne i}{q}_{ij}<+\infty$ 时，称该矩阵是保守的。

我们用以上两个定理和推论导出重要的 Kolmogorov 微分方程。

Kolmogorov 微分方程：对一切 $i,j\in S$ ，$t\ge 0$ 且 $\sum _{j\ne i}{q}_{ij}=q_{ii}<\infty$ ，有：

1. 向后方程：

$$p_{ij}^{\prime }(t)=\sum _{k\ne i}{q}_{ik}{p}_{kj}(t)-q_{ii}{p}_{ij}(t)$$

2. 在适当正则的条件下，有向前方程：

$$p_{ij}^{\prime }(t)=\sum _{k\ne j}{q}_{kj}{p}_{ik}(t)-q_{jj}{p}_{ij}(t)$$

证明：由连续时间 Markov 链的 C-K 方程，有 $p_{ij}(t+h)=\sum _{k\in S}{p}_{ik}(h)p_{kj}(t)$ ，变型为：
$$\begin{array}{rl}{p}_{ij}(t+h)-p_{ii}(h)p_{ij}(t)=& \sum _{k\ne i}{p}_{ik}(h)p_{kj}(t)\\ p_{ij}(t+h)-p_{ij}(t)=& \sum _{k\ne i}{p}_{ik}(h)p_{kj}(t)-(1-p_{ii}(h))p_{ij}(t)\end{array}$$
两边除以 $h$ ，对 $h$ 取极限得到：
$$\underset{h\to 0}{\lim }\frac{p_{ij}(t+h)-p_{ij}(t)}{h}=\underset{h\to 0}{\lim }\sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)-\underset{h\to 0}{\lim }\frac{1-p_{ii}(h)}{h}{p}_{ij}(t)$$
当 Markov 链状态有限时，$\underset{h\to 0}{\lim }\sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)$ 的极限与求和可以交换次序，此时直接得到了向后方程。

当 Markov 链状态无限时，我们也只需要证明极限与求和可以交换次序。对于固定的 $N$ ，有：
$$\begin{array}{rl}\underset{h\to 0}{\lim }\inf \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\ge & \underset{h\to 0}{\lim }\inf \sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\\ =& \sum _{k\ne i,k<N}\underset{h\to 0}{\lim }\inf \frac{p_{ik}(h)}{h}{p}_{kj}(t)\\ =& \sum _{k\ne i,k<N}{q}_{ik}{p}_{kj}(t)\end{array}$$

由 $N$ 的任意性，可以得到：

$$\underset{h\to 0}{\lim }\inf \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\ge \sum _{k\ne i}{q}_{ik}{p}_{kj}(t)$$
又因为对于 $\forall k\in S$ 有 $p_{kj}(t)\le 1$ ，因此：

$$\begin{array}{rl}& \underset{h\to 0}{\lim }\sup \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\le \underset{h\to 0}{\lim }\sup \left[\sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}{p}_{kj}(t)+\sum _{k\ne i,k\ge N}\frac{p_{ik}(h)}{h}\right]\\ =& \underset{h\to 0}{\lim }\sup \left\{\sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}{p}_{kj}(t)+\left[\sum _{k\ne i}\frac{p_{ik}(h)}{h}-\sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}\right]\right\}\\ =& \underset{h\to 0}{\lim }\sup \left\{\sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}{p}_{kj}(t)+\left[\frac{1-p_{ii}(h)}{h}-\sum _{k\ne i,k<N}\frac{p_{ik}(h)}{h}\right]\right\}\\ =& \sum _{k\ne i,k<N}{q}_{ik}{p}_{kj}(t)+q_{ii}-\sum _{k\ne i,k<N}{q}_{ik}\end{array}$$

同样由于 $N$ 的任意性，可以得到：

$$\underset{h\to 0}{\lim }\sup \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)\le \sum _{k\ne i}{q}_{ik}{p}_{jk}(t)$$

这就证明了

$$\underset{h\to 0}{\lim }\sup \sum _{k\ne i}\frac{p_{ik}(h)}{h}{p}_{kj}(t)=\sum _{k\ne i}{q}_{ik}{p}_{jk}(t)$$

于是无限状态的情况下，向后方程也成立，矩阵形式为 $P^{\prime }(t)=QP(t)$ ；向后方程的意思是，我们计算 $p_{ij}(t+h)$ 是回退到 $p_{ij}(h)$ 来计算的。我们可以换一种角度考虑，来证明向前方程：

由连续时间 Markov 链的 C-K 方程，有 $p_{ij}(t+h)=\sum _{k\in S}{p}_{ik}(t)p_{kj}(h)$ ，和上面类似的变形可以得到：

$$\underset{h\to 0}{\lim }\frac{p_{ij}(t+h)-p_{ij}(t)}{h}=\underset{h\to 0}{\lim }\sum _{k\ne i}{p}_{ik}(t)\frac{p_{kj}(h)}{h}-\underset{h\to 0}{\lim }\frac{1-p_{jj}(h)}{h}{p}_{ij}(t)$$

对于适当正则的 Markov 链，上述的极限和求和可以交换次序，因此向前方程也成立，写成矩阵形式为 $P^{\prime }(t)=P(t)Q$ 。

适当正则的 Markov 满足以下两个条件：

1. 从任何一个状态开始，都可以通过有限步骤到达其他任何状态。
2. 在一定的时间内，任何一个状态都可以通过有限步骤回到自身。

对于有限状态的 Markov 链或者生灭过程（特别是 Yule 过程），都是满足适当正则的条件的，即向前方程成立。

连续时间 Markov 链的应用

Poisson 过程

参数为 $\lambda$ 的 Poisson 过程， { N ( t ) ,   t ≥ 0 } \{N(t),\,t\geq 0\} {N(t),t≥0} 。可以看成一个 Markov 链，状态取值为 { 0 ,   1 ,   2 ,   ⋯   } \{0,\,1,\,2,\,\cdots\} {0,1,2,⋯} ，在每个状态 $i$ 停留的时间服从指数分布，并且离开 $i$ 时以概率为 1 转移到 $i+1$ 。可知 Poisson 过程是时齐的连续时间 Markov 链。对于 $i\in S$ ，它的转移概率为：
$$\begin{array}{rl}{p}_{i,i}(t)=& P(N(t+s)=i|N(s)=i)\\ =& P(N(t)=0)\\ =& e^{-\lambda t}\end{array}$$
（第一行是定义，第二行是因为时间 $[s,t+s]$ 内没有发生更新，又由于 Poisson 过程的独立增量性，相当从 0 开始到 $t$ 时刻没有发生更新的概率，即 $P(N(t))=0$ ；第三行是定义）
$$\begin{array}{rl}{p}_{i,i+1}(t)=& P(N(t+s)=i+1|N(s)=i)\\ =& P(N(t)=1)\\ =& \lambda t{e}^{-\lambda t}\\ p_{i,j}(t)=& \frac{(\lambda t{)}^{j-i}}{(j-i)!}{e}^{-\lambda t},j>i+1\\ p_{i,j}(t)=& 0,j<i\end{array}$$

接下来我们使用 Kolmogorove 微分方程来计算转移概率。

由 Poisson 过程的第二个定义可以得到：
$$\begin{array}{rl}{p}_{kk}(h)=& P(N(t+h)-N(t)=0|N(t)=k)\\ =& 1-\lambda h+o(h)\\ p_{k,k+1}(h)=& P(N(t+h)-N(t)=1|N(t)=k)\\ =& \lambda h+o(h)\\ p_{k,k+n}(h)=& P(N(t+h)-N(t)=n|N(t)=k)\\ =& o(h)(n\ge 2)\end{array}$$
两边除以 $h$ ，取极限，可以得到：
$$\begin{array}{rl}\underset{h\to 0}{\lim }\frac{1-p_{kk}(h)}{h}=& q_{kk}=\lambda \\ \underset{h\to 0}{\lim }\frac{p_{k,k+1}(h)}{h}=& q_{k,k+1}=\lambda \\ \underset{h\to 0}{\lim }\frac{p_{k,k+n}(h)}{h}=& q_{k,k+n}=0(n\ge 2)\end{array}$$
代入向后方程：

• 当 $j=i$ 时，有：
  $$p_{ii}^{\prime }(t)=-q_{ii}{p}_{ii}(t)=-\lambda p_{ii}(t)=-\lambda e^{-\lambda t}$$

• 当 $j=i+1$ 时，有：
  $$\begin{array}{rl}& p_{i,i+1}^{\prime }(t)\\ =& q_{i,i+1}{p}_{i+1,i+1}(t)-q_{ii}{p}_{i,i+1}(t)\\ =& \lambda (p_{i+1,i+1}(t)-p_{i,i+1}(t))\\ =& \lambda e^{-\lambda t}(1-\lambda t)\end{array}$$

• 当 $j=i+2$ 时，有：
  $$p_{i,i+2}^{\prime }(t)=q_{i,i+1}{p}_{i+1,i+2}(t)-q_{ii}{p}_{i,i+2}(t)=\lambda (\lambda t{e}^{-\lambda t}-\frac{(\lambda t{)}^2}{2}{e}^{-\lambda t})$$

其他情况下，好像都差不多，主要是因为 $ q_{k,,k+n}=0 \quad(n\geq 2)$ ；书上说其他情况微分方程不存在，我没有理解。。。

有条件 $p_{ii}(0)=1$ （这个是微分方程的初值条件），上述微分方程的解为：
$$p_{ij}(t)=\frac{(\lambda t{)}^{j-i}}{(j-i)!}{e}^{-\lambda t},j\ge i\ge 0$$
和我们上面解出来的转移概率一致，也和 Poisson 过程的第一个定义等价。

注意：前面 $j$ 的各种情况，最后一步都是用前面的已经得到的转移概率的结论而算出来的具体解，但是实际上我们是不知道具体的解的，而是要通过解微分方程才能得到转移概率的具体解；我用结论直接代入微分方程是为了验证一下有没有算错hhh

Yule 过程

设某一生物群体中各个体的繁殖时相互独立、强度为 $\lambda$ 的 Poisson 过程，并且群体中没有死亡，此过程称为 Yule 过程。则 Yule 过程是一个连续时间的 Markov 链，下面进行说明：

设 0 时刻时群体中有一个个体，则群体中个体个数为 {   1 ,   2 ,   3 ,   ⋯   } \{\,1,\,2,\,3,\,\cdots\} {1,2,3,⋯} ，我们将其看作 Markov 链的状态。当群体中个体数目为 $i$ 时，要到达 $i+1$ 个，由 Poisson 过程的独立可加性可知，这相当于是一个强度为 $\lambda i$ 的 Poisson 过程。若以 $T_i$ 记群体个体数目从 $i$ 到 $i+1$ 的时间，那么 $T_i$ 服从参数为 $\lambda i$ 的指数分布。这是因为每个个体都有可能会繁殖，而 $T_i$ 是繁殖时间最短的那个，相当于 $i$ 个服从指数分布的随机变量的最小顺序统计量，分布为 $F_{T(1)}(t)=1-(1-F(t){)}^i=1-e^{-\lambda it}$ ，所以 $T_i$ 服从参数为 $\lambda i$ 的指数分布。

这就说明了 Yule 过程是一个连续时间的 Markov 链。我们算一下它的转移概率：
$$\begin{array}{rl}P(T_1\le t)=& 1-e^{-\lambda t}\\ P(T_1+T_2\le t)=& {\int }_0^{t}P(T_1+T_2\le t|T_1=x)\lambda e^{-\lambda x}dx\\ =& {\int }_0^t(1-e^{-2\lambda (t-x)})\lambda e^{-\lambda x}dx\\ =& (1-e^{-\lambda t}{)}^2\end{array}$$
用归纳法可以得到 $P(\sum _{i=1}^j{T}_i\le t)=(1-e^{-\lambda t}{)}^j$ 。以 $X(t)$ 记 $t$ 时刻的状态，则：
{ ∑ i = 0 j T i ≤ t }    ⟺    { X ( t ) ≥ j + 1 ∣ X ( 0 ) = 1 } \{ \sum\limits_{i=0}^{j}T_i \leq t \} \iff \{ X(t) \geq j+1 | X(0)=1 \} {i=0∑j​Ti​≤t}⟺{X(t)≥j+1∣X(0)=1}
所以：
$$\begin{array}{rl}{p}_{1,j}(t)=& P(X(t)=j|X(0)=1)\\ =& P(X(t)\ge j|X(0)=1)-P(X(t)\ge j+1|X(0)=1)\\ =& (1-e^{-\lambda t}{)}^{j-1}-(1-e^{-\lambda t}{)}^j\\ =& e^{-\lambda t}(1-e^{-\lambda t}{)}^{j-1}(j\ge 1)\end{array}$$
这是一个几何分布，看出来了吗，参数是 $p=e^{-\lambda t}$ ，因此均值为 $e^{\lambda t}$ ，代表从一个个体开始，经过时间为 $t$ 后，群体中个体数平均会达到 $e^{\lambda t}$ ；又因为：
$$p_{i,j}(t)=P(X(s+t)=j|X(s)=i)$$
这个概率代表从 $i$ 个个体开始，经过时间为 $t$ 后，群体中个体数达到 $j$ 的概率。可以理解成，有 $i$ 个群体，每个群体从一个个体开始，经过时间为 $t$ 后，各群体的个体数之和达到 $j$ 的概率。那就是：（用隔板法想一下为什么是 $\left(\genfrac{}{}{0ex}{}{j-1}{i-1}\right)$ ）
$$p_{i,j}=\left(\genfrac{}{}{0ex}{}{j-1}{i-1}\right)e^{-\lambda ti}(1-e^{-\lambda t}{)}^{j-i},j\ge i\ge 0$$

接下来我们使用 Kolmogorove 微分方程来计算转移概率。

我们考虑的是单一祖先的情况，因此 $X(0)=1$ （这个是微分方程的初值条件）。有：
$$\begin{array}{rl}P(X(t+h)-X(t)=1|X(t)=i)=& i\lambda h+o(h)\\ P(X(t+h)-X(t)=0|X(t)=i)=& 1-i\lambda h+o(h)\\ P(X(t+h)-X(t)\ge 2|X(t)=i)=& o(h)\\ P(X(t+h)-X(t)<0|X(t)=i)=& 0\end{array}$$
（已经有 $k$ 个个体的时候，Poisson 过程的强度为 $k\lambda$ ）

像前面一样，两边除以 $h$ ，求极限，可以得到 $q_{ii}=q_{i,i+1}=i\lambda$ ，其他情况下 $q_{ij}=0$ （$j<i$ 或 $j\ge i+2$）；代入向前方程得到：
$$\begin{array}{rl}{p}_{ii}^{\prime }(t)=& -i\lambda p_{ii}(t)\\ p_{ij}^{\prime }(t)=& (j-1)\lambda p_{i,j-1}(t)-j\lambda p_{ij}(t),j>i\end{array}$$
解得：
$$p_{i,j}=\left(\genfrac{}{}{0ex}{}{j-1}{i-1}\right)e^{-\lambda ti}(1-e^{-\lambda t}{)}^{j-i},j\ge i\ge 0$$
和前面得到的转移概率一致。

生灭过程

同 Yule 过程一样的繁殖速度，但是每个个体将以指数速率 $\mu$ 死亡，则称为生灭过程。生灭过程的状态为 { 0 ,   1 ,   2 ,   ⋯   } \{0,\,1,\,2,\,\cdots\} {0,1,2,⋯} 。在状态 $i$ ，可以转移到 $i-1$ ，也可以转移到 $i+1$ 。以 $T_i$ 记过程从 $i$ 到 $i-1$ 或 $i+1$ 的时间。可以得到 $T_i$ 服从参数为 $i\mu +i\lambda$ 的指数分布（和上面 Yule 过程一样的原理）。并且下一次转移到 $i+1$ 的概率是 $p_{i,i+1}=\frac{\lambda }{\lambda +\mu }$ ，转移到 $i-1$ 的概率是 $p_{i,i-1}=\frac{\mu }{\lambda +\mu }$ 。

我觉得这个转移概率是这样得到的：我们只考虑一个个体，它先死亡还是先繁殖一个后代的概率：
$$\begin{array}{rl}P(\text{先死亡})=& {\int }_0^{\infty }P(\text{死亡时间小于}x|\text{繁殖时间为}x)P(\text{繁殖时间为}x)dx\\ =& {\int }_0^{\infty }(1-e^{-\mu x})\lambda e^{-\lambda x}dx=\frac{\mu }{\lambda +\mu }\\ P(\text{先繁殖})=& 1-P(\text{先死亡})=\frac{\lambda }{\lambda +\mu }\end{array}$$
但是为什么一个个体的概率和 $i$ 个个体转移的概率是一样的呢？

接下来我们使用 Kolmogorove 微分方程来计算转移概率。
$$\begin{array}{rl}P(X(t+h)-X(t)=1|X(t)=i)=& i\lambda h+o(h)\\ P(X(t+h)-X(t)=-1|X(t)=i)=& i\mu h+o(h)\\ P(X(t+h)-X(t)=0|X(t)=i)=& 1-(i\lambda +i\mu )h+o(h)\\ p_{ii}(0)=1,p_{ij}(0)=& 0(j\ne i)\end{array}$$
最后一条是微分方程的初值条件。从而按照前面 Poisson 过程和 Yule 过程的方法，可以得到 Kolmogorov 向后方程为：
$$\{\begin{array}{ll}{p}_{ij}^{\prime }(t)=i\mu p_{i-1,j}(t)-(i\lambda +i\mu )p_{ij}(t)+i\lambda p_{i+1,j}(t)& i\ge 1\\ p_{0,j}^{\prime }(t)=-\lambda p_{0,j}(t)+\lambda p_{1,j}(t)& \end{array}$$
（这个 $p_{0,j}^{\prime }(t)$ 我觉得怪怪的。。。）

Kolmogorov 向前方程为：fd
$$\{\begin{array}{ll}{p}_{ij}^{\prime }(t)=(j+1)\mu p_{i,j+1}(t)-(j\lambda +j\mu )p_{ij}(t)+(j-1)\lambda p_{i,j-1}(t)& j\ge 1\\ p_{i,0}^{\prime }(t)=-\lambda p_{i,0}(t)+\mu p_{i,1}(t)& \end{array}$$