马尔科夫过程

什么是马尔可夫过程
1、马尔可夫性(无后效性)

过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻t > t0所处状态的条件分布，与过程在时刻t0之前年处的状态无关的特性称为马尔可夫性或无后效性。

即：过程“将来”的情况与“过去”的情况是无关的。

2、马尔可夫过程的定义

具有马尔可夫性的随机过程称为马尔可夫过程。

用分布函数表述马尔可夫过程：

设I：随机过程{X(t),t∈T}的状态空间，如果对时间t的任意n个数值:　　
或写成：

　　这时称过程X(t),t∈T具马尔可夫性或无后性，并称此过程为马尔可夫过程。
　　
3、马尔可夫链的定义
　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为Xn=X(n),n=0,1,2,…

马尔可夫过程的概率分布

研究时间和状态都是离散的随机序列:Xn=X(n),n=0,1,2,…,状态空间为I=a1,a2,…,ai,ai∈R

1、用分布律描述马尔可夫性

对任意的正整数n,r和有：