马尔可夫链基本定义

基本定义

(马尔可夫链)考虑一个随机变量的序列 X = { X o , X 1 , . . . , X t , . . . } X = {\{X_o,X_1,... ,X_t,...\}} X={ Xo​,X1​,...,Xt​,...}这里$X_t$表示时刻t的随机变量，t=0,1,2… 每个随机变量$X_t(t=0,12...)$的取值集合相同，称为状态空间，表示为S。随机变量可以是离散的，也可以是连续的。以上随机变量的序列构成随机过程( stochastic process)。

假设在时刻0的随机变量$X_0$遵循概率分布$P(X_o)=T_o$, 称为初始状态分布。在某个时刻t≥1的随机变量$X_t$，与前一个时刻的随机变量$X_{}$