马尔科夫链
1 定义
考虑一个随机变量构成的序列,Xt表示t时刻的随机变量,t=0,1,2,3……。随机变量可以是离散的,也可以是连续的。以上随机变量的序列构成随机过程。
在时刻0的随机变量X0遵循概率密度分布P(X0),称为初始状态分布。在某一时刻(t>=1)的随机变量Xt只依赖于Xt-1,而不依赖于过去的随机变量{X0,X1,……Xt-2},这性质称为马尔可夫性。
具有马尔可夫性的随机序列称为马尔可夫链或马尔可夫过程。条件概率分布P(Xt|Xt-1)称为马尔科夫链的转移概率分布。它决定了马尔科夫链的特性