马尔可夫过程简述 - A Brief Tutorial of Markov Process

本文主要介绍一下马尔可夫随机过程的概念及特性。

随机过程

概念

设 $(\Omega, \mathcal{F}, P)$ 是概率空间，$T$ 是给定的参数集，对于每个 $t\in T$ ，有一个随机变量 $X(t,e)$ 与之对应，则称随机变量族 $\{X(t,e), t\in T\}$ 是 $(\Omega, \mathcal{F}, P)$ 上的随机过程，简记为 $\{X(t),t\in T \}$。 $T$ 称为参数集，通常表示时间。

我们可以将 $X(t)$ 理解为系统在时刻 $t$ 所处的状态， $X(t)$ 的所有可能状态构成的集合称为状态空间或相空间， 记为 $I$。

从数学的观点来说，随机过程 $\{X(t,e), t\in T\}$ 是定义在 $T\times \Omega$ 上的二元函数，对固定的 $t$， $X(t,e)$ 是 $(\Omega, \mathcal{F}, P)$ 上的随机变量；对固定的 $e$，$X(t,e)$ 是定义在 $T$ 上的普通函数，称为随机过程 $\{X(t,e), t\in T\}$ 的一个样本函数或轨道，样本函数的全体称为样本函数空间。

分布律

设 $\{X(t),t\in T\}$ 是随机过程，对任意 $n\geq 1$ 和 $t_{1},t_{2},\dots,t_{n}\in T$，随机向量 $(X(t_{1}), X(t_{2}),\dots,X(t_{n}))$ 的联合分布函数为

$$F_{t_{1},t_{2},\dots,t_{n}}(x_{1},x_{2},\dots, x_{n})=P\{X(t_{1})\leq x_{1}, X(t_{2})\leq x_{2},\dots,X(t_{n})\leq x_{n}\}$$ 这些分布函数的全体

F={ Ft1,t2,…,tn(x1,x2,…,xn):t1,t2,…,tn