马尔可夫链

马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“记忆性”称作马尔可夫性质。
  在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。
  随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

1 定义

  马尔可夫链是满足马尔可夫性质的随机变量序列$X_1,X_2,X_3,...,$即给出当前状态，将来状态和过去状态是相互独立的。从形式上看，如果两边的条件分布有定义（即如果$P(X_1=x_1,...,X_n=x_n)>0$），则：
$$P(X_{n+1}|X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_{n+1}=x_1|X_n=x_n)$$$X_i$的可能构成的可数集$S$叫做该链的“状态空间” 。

2 描述

  通常用一系列有向图来描述马尔可夫链，其中图$n$的边用从时刻$n$的状态到时刻$n+1$的状态的概率$P(X_{n+1}=x_1|X_n=x_n)$来标记。也可以用时刻$n$的状态到时刻$n+1$的转移矩阵表示同样的信息。但是，马氏链常常被假定为时齐的（见变种），在这种情况下，图和矩阵与$n$无关，因此也不表现为序列。
  这些描述强调了马尔可夫链与初始分布$P(X_1=x_1)$无关这一结构。当时齐的时候，可以认为马氏链是分配从一个顶点或状态跳变到相邻一个的概率的状态机。可以把状态概率$P(X_n=x|X_1=x_1)$作为仅有元素$x_1$的状态空间为输入的机器的统计行为分析，或作为初始分布为$P(X_1=y)=[x_1=y]$。

3 变种

3.1 时齐马尔可夫链（或静态马尔科夫链）

对于所有$n$
$$P(X_{n+1}=x|X_n=y)=P(X_n=x|X_{n-1}=y)$$的过程。转移概率与$n$无关。

3.2 $m$阶马尔科夫链

记忆为$m$的马尔可夫链，其中$m$有限，为满足
$P(X_n=x_n|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},...,X_1=x_1)$
$=P(X_n=x_n|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},...,X_{n-m}=x_{n-m}),n>m$
的过程。换句话说，未来状态取决于其前m个状态。

4 瞬态演变

用$n$步从状态$i$到状态$j$的概率为
$$p_{ij}^{(n)}=P(X_n=j|X_0=i)$$而单步转移是
$$p_{ij}=P(X_1=j|X_0=i)$$对于一个时齐马尔科夫链来说：
$$p_{ij}^{(n)}=P(X_{k+n}=j|X_k=i)$$而$$p_{ij}=P(X_{k+1}=j|X_k=i)$$

参考：https://zh.wikipedia.org/wiki/马尔可夫链