1.马尔可夫性
\qquad
设
{
X
T
(
t
)
,
x
∈
T
}
\{X_T(t),x\in T \}
{XT(t),x∈T}为随机过程,
E
E
E为其状态空间,若对任意的
t
1
<
t
2
<
⋯
<
t
n
<
t
t_1<t_2<\cdots<t_n<t
t1<t2<⋯<tn<t,任意的
x
1
,
x
2
,
⋯
,
x
n
,
x
,
∈
E
x_1,x_2,\cdots,x_n,x,\in E
x1,x2,⋯,xn,x,∈E,随机变量
X
(
t
)
X(t)
X(t)在已知变量
X
(
t
1
)
=
x
2
,
⋯
,
X
(
t
n
)
=
x
n
X(t_1)=x_2,\cdots,X(t_n)=x_n
X(t1)=x2,⋯,X(tn)=xn之下的条件概率分布函数只与
X
(
t
n
)
=
t
n
X(t_n)=t_n
X(tn)=tn有关,而与
X
(
t
1
)
=
x
1
,
⋯
,
X
(
t
n
)
=
t
n
X(t_1)=x_1,\cdots,X(t_n)=t_n
X(t1)=x1,⋯,X(tn)=tn无关,即条件概率分布函数满足:
F
(
x
,
t
∣
x
n
,
x
n
−
1
,
⋯
,
x
2
,
x
1
,
t
n
,
t
n
−
1
,
⋯
,
t
2
,
t
1
)
=
F
(
x
,
t
∣
x
n
,
t
n
)
F(x,t|x_n,x_{n-1},\cdots,x_2,x_1,t_n,t_{n-1},\cdots,t_2,t_1)=F(x,t|x_n,t_n)
F(x,t∣xn,xn−1,⋯,x2,x1,tn,tn−1,⋯,t2,t1)=F(x,t∣xn,tn)即:
P
(
X
(
t
)
⩽
x
∣
X
(
t
n
)
=
x
n
,
⋯
,
X
(
t
1
)
=
t
1
)
=
P
(
X
(
t
)
∣
⩽
x
∣
X
(
t
n
)
=
x
n
)
P(X(t)\leqslant x|X(t_n)=x_n,\cdots,X(t_1)=t_1)=P(X(t)|\leqslant x|X(t_n)=x_n)
P(X(t)⩽x∣X(tn)=xn,⋯,X(t1)=t1)=P(X(t)∣⩽x∣X(tn)=xn)
\qquad
此性质称为马尔可夫性,亦称无后效性或无记忆性。
2.马尔可夫过程
\qquad
若随机过程
{
X
T
(
t
)
,
x
∈
T
}
\{X_T(t),x\in T \}
{XT(t),x∈T}满足马尔可夫性,则称为马尔可夫过程。
3.常见马尔可夫过程
\qquad
独立随机过程为马尔可夫过程。
\qquad
独立增量过程为马尔可夫过程。
\qquad
泊松过程为马尔可夫过程。
\qquad
维纳过程为马尔可夫过程。