连续参数马尔可夫链

7.1 定义与基本概念

定义：设随机过程 X = { X ( t ) , t ≥ 0 } X=\{X(t),t\ge0\} X={X(t),t≥0}，状态空间 $S$，对任意 $0\le t_0<t_1<\cdots <t_n<t_{n+1}$，$i_k\in S$，若 $P(X(T_k)=i_k,0\le k\le n)>0$ 有
$$P(X(t_{n+1})=i_{n+1}|X(t_k)=i_k,0\le k\le n)=P(X(t_{n+1})=i_{n+1}|X(t_n)=i_n)$$
则称 $X$ 为连续参数的马氏链。若对任意的 $s,t\ge 0$，$i,j\in S$ 有
$$P(X(s+t)=j|X(s)=i)=P(X(t)=j|X(0)=i)=P_{ij}(t)$$
称 $X$ 为齐次马氏链。

对于连续参数马氏链，在原点处有 $P_{ij}(0)={\delta }_{ij}$，因此 $P(0)=I$。除此之外假设其在原点处连续，即 ${\lim }_{t\to 0}{P}_{ij}(t)={\delta }_{ij},{\lim }_{t\to 0}P(t)=I$。类比离散参数的马氏链，可以得到类似的 C-K 方程 $P(s+t)=P(s)P(t)$。

7.2 转移概率矩阵

根据 C-K 方程可以猜测 $P(t)=e^{tQ}$，泰勒展开表示为 $P(t)=I+{\sum }_{n=1}^{\infty }\frac{t^n}{n!}{Q}^n$，$P(t)$ 完全由 $Q$ 确定，并且有 $P^{\prime }(0)={\lim }_{t\to 0}\frac{P(t)-I}{t}=Q$。

上面只是猜测，那么是否真的存在这样一个 $Q$ 呢？下面两个定理给出结论。

定理 7.1：对 $i\in S$，极限 $-q_{ii}={\lim }_{t\to 0}\frac{1-P_{ii}(t)}{t}$ 存在，但可能是无穷。

定理 7.2：对 $i\in S$，极限 $q_{ij}={\lim }_{t\to 0}\frac{P_{ij}(t)}{t}$ 存在且有限。

证明：略。

Remark：实际应用中，$P(t)$ 很难获得，一般可以求得 $Q$，此时 $e^{tQ}={\lim }_{n\to \infty }(I+Qt/n{)}^n$。如果取 $n=2^k$ 的形式，只需要 $k$ 次矩阵乘法即可。

推论 7.1：对任意 $i\in S$，$0\le {\sum }_{i\ne j}{q}_{ij}\le q_{ii}$。

证明：
KaTeX parse error: Undefined control sequence: \varliminf at position 9: q_{ii}=\̲v̲a̲r̲l̲i̲m̲i̲n̲f̲_{t\to0} \frac{…
推论 7.2：当 $S$ 为有限状态空间时，${\sum }_{i\ne j}{q}_{ij}=q_{ii}<\infty$。

7.3 Kolmogorov前向后向微分方程

定义：如果 $Q$ 满足 $\forall i\in S$，${\sum }_{j\ne i}{q}_{ij}=q_{ii}<\infty$，则称 $Q$ 为保守矩阵。

定理 7.3：设马氏链 X = { X ( t ) , t ≥ 0 } X=\{X(t),t\ge0\} X={X(t),t≥0}，$Q=P^{\prime }(0)$，当 $S$ 为有限集时，$P^{\prime }(t)=P(t)Q=QP(t)$。

Remark：当 $S$ 为可数状态时，前向方程与后向方程不一定成立，根据 Fatu 引理有 $P^{\prime }(t)\ge P(t)Q,P^{\prime }(t)\ge QP(t)$

定理 7.4：当 $S$ 为可列个状态，$Q$ 为保守矩阵时，后向方程 $P^{\prime }(t)=QP(t)$ 成立。

7.4 平稳分布与极限分布及其矩阵计算

类似离散马氏链，可以定义状态的连通关系。

定义：若 ${\int }_0^{\infty }{P}_{ii}(t)dt=+\infty$，则称状态 $i$ 为常返态，否则称为非常返态。

定义：设 $i$ 为常返态，若 ${\lim }_{t\to \infty }{P}_{ii}(t)>0$，则称为正常返态，若 ${\lim }_{t\to \infty }{P}_{ii}(t)=0$，称为零常返态。

定义：若概率分布 π = { π i , i ∈ S } \pi=\{\pi_i,i\in S\} π={πi​,i∈S} 满足 $\pi =\pi P(t)$，称 $\pi$ 为 $X$ 的平稳分布。

定理 7.5：设 $X$ 是有限不可约连续马氏链，对任意 $i,j\in S$，有 ${\lim }_{t\to \infty }{P}_{ij}(t)=p_j$ 存在，且与状态 $i$ 无关。

证明：略。

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
泛函分析专栏
高等数值分析专栏
随机过程专栏
随机过程1 绪论
随机过程2 平稳过程与二阶矩
离散鞅论1 | 基本概念
离散鞅论2 | 停时与停时定理
离散鞅论3 | 鞅论应用
泊松过程1 | 定义与基本性质
泊松过程2 | 泊松过程扩展
布朗运动 1 | 基本概念与性质
布朗运动 2 | 布朗运动的推广
马尔可夫过程1 | 基本概念
马尔可夫过程2 | 状态空间
连续参数马尔可夫链