马尔可夫过程

1.马尔可夫性
\qquad 设 { X T ( t ) , x ∈ T } \{X_T(t),x\in T \} {XT​(t),x∈T}为随机过程，$E$为其状态空间，若对任意的$t_1<t_2<\cdots <t_n<t$，任意的$x_1,x_2,\cdots ,x_n,x,\in E$，随机变量$X(t)$在已知变量$X(t_1)=x_2,\cdots ,X(t_n)=x_n$之下的条件概率分布函数只与$X(t_n)=t_n$有关，而与$X(t_1)=x_1,\cdots ,X(t_n)=t_n$无关，即条件概率分布函数满足：$$F(x,t|x_n,x_{n-1},\cdots ,x_2,x_1,t_n,t_{n-1},\cdots ,t_2,t_1)=F(x,t|x_n,t_n)$$即：$$P(X(t)⩽x|X(t_n)=x_n,\cdots ,X(t_1)=t_1)=P(X(t)|⩽x|X(t_n)=x_n)$$ \qquad 此性质称为马尔可夫性，亦称无后效性或无记忆性。

2.马尔可夫过程
\qquad 若随机过程 { X T ( t ) , x ∈ T } \{X_T(t),x\in T \} {XT​(t),x∈T}满足马尔可夫性，则称为马尔可夫过程。

3.常见马尔可夫过程
\qquad 独立随机过程为马尔可夫过程。
\qquad 独立增量过程为马尔可夫过程。
\qquad 泊松过程为马尔可夫过程。
\qquad 维纳过程为马尔可夫过程。