马尔科夫链回顾
马尔科夫链是以俄国数学家安德烈 ⋅ \cdot ⋅马尔科夫命名,以纪念其首次提出马尔可夫链和对其收敛性质所做的研究。马尔科夫链是指数学中具有马尔科夫性质的离散事件随机过程。在给定当前知识或信息的情况下,过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的,即过去与将来是独立的。
每个状态的转移只依赖于之前的 n n n个状态,这个过程称为1个 n n n阶的模型,其中 n n n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程,每个状态的转移只依赖于之前的那一个状态。用数学表达式表示就是下面这个式子: P ( X n + 1 = x ∣ X 1 = x 1 , X 2 = x 2 , . . . , X n = x n ) = P ( X n + 1 = x ∣ X n = x n ) P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_{n+1}=x|X_n=x_n) P(Xn+1=x∣X1=x1,X2=x2,...,Xn=xn)=P(Xn+1=x∣Xn=xn)
用转移矩阵表示: P ( k ) = [ p 11 k p 12 k ⋯ p 1 n k p 21 k p 22 k ⋯ p 2 n k ⋮ ⋮ ⋮ ⋮ p m 1 k p m 2 k ⋯ p m n k ] \mathtt{P^{(k)}}=\begin{bmatrix} p_{11}^k&p_{12}^k&\cdots&p_{1n}^k\\ p_{21}^k&p_{22}^k&\cdots&p_{2n}^k\\ \vdots&\vdots&\vdots&\vdots\\ p_{m1}^k&p_{m2}^k&\cdots&p_{mn}^k \end{bmatrix} P(k)=⎣⎢⎢⎢⎡p11kp21k⋮pm1kp12kp22k⋮pm2k⋯⋯⋮⋯p