马尔科夫链

马尔科夫链是一种特殊类型的随机过程，具有“无记忆性”的特性。也就是说，未来的状态只依赖于当前状态，而与过去的状态无关。马尔科夫链通常用状态转移图或转移概率矩阵来表示。每个状态都有一个转移概率，指明从一个状态转移到另一个状态的可能性。

随机过程是一个参数化的随机变量的集合，通常用来描述随时间变化的随机现象。它可以被看作是一系列随机变量的集合，这些随机变量可能依赖于时间或空间。

定义：状态空间为有限集或可列集的随机过程 { X t , t = 0 , 1 , ⋯   } \{X_t, t=0,1, \cdots\} {Xt​,t=0,1,⋯}，若对于任何一列状态$i_0,i_1,\cdots ,i_{t-1},i,j$，$X_t$满足性质：
$$P(X_{t+1}=j|X_0=i_0,\cdots ,X_{t-1}=i_{t-1},X_t=i)=P(X_{t+1}=j|X_t=i)$$
则$X_t$称为马尔科夫链，简称马氏链。
如果将上式中的时间参数$t$看成是现在时刻，那么$0,1,\cdots t-1$就表示过去时刻，$t+1$表示将来时刻，则上式的直观解释为：若已知随机过程$X_t$现在所处的状态，则过程将来处于哪个状态的概率与过程过去曾经经历的状态是无关的。因此，马尔科夫链具有无记忆性（无后效性）。条件概率 P { X t + 1 = j ∣ X t = i } P\{X_{t+1}=j|X_t=i\} P{Xt+1​=j∣Xt​=i}表示马氏链$X_t$在时刻$t$从状态$i$经过一步转移到状态$j$的概率。我们有一下定义：
一步转移概率。条件概率 P { X t + 1 = j ∣ X t = i } P\{X_{t+1}=j|X_t=i\} P{Xt+1​=j∣Xt​=i}称为马尔科夫链 { X t , t = 0 , 1 , ⋯   } \{X_t, t=0,1, \cdots\} {Xt​,t=0,1,⋯}在t时刻从$i$到$j$的一步转移概率。当这一概率与$t$无关时，我们称该马尔科夫链具有平稳状态转移概率，记为$p_{ij}$。

根据概率的非负性，且过程从一个状态$i$出发，总要转移到某种状态j中去（这是必然事件），故对于任意状态$i,j,p_{ij}\ge 0$且：
$$\sum _{j=0}^{\infty }{p}_{ij}=1$$
通常把一步转移概率排成一个无穷维的方阵，记作$$\mathbf{P}=\left[\begin{array}{ccccc}{p}_{00}& p_{01}& \cdots & p_{0j}& \cdots \\ p_{10}& p_{11}& \cdots & p_{1j}& \cdots \\ ⋮& ⋮& & ⋮& \\ p_{i0}& p_{i1}& \cdots & p_{ij}& \cdots \\ ⋮& ⋮& & ⋮& \end{array}\right]$$

称为转移概率矩阵。当状态空间为有限集时，P就是有限阶矩阵，其阶数与状态空间中状态数相同。