马尔可夫链

背景

马尔可夫性

定义 设 $\{X(t),t \in T\}$ 是一个随机过程，如果 $\{X(t),t \in T\}$ 在 $t_{0}$ 时刻所处的状态已知，它在时刻 $t>t_{0}$ 所处的状态的条件分布与其在 $t_{0}$ 之前所处的状态无关。

通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称 随机过程 $\{X(t),t \in T\}$ 具有马尔可夫（Markov）性

马尔可夫过程

$\{X(t),t \in T\}$ 是一个随机过程，若其满足马尔可夫性，则称其为马尔可夫过程

马尔可夫链

定义

时间和状态都是离散的马尔可夫过程称为马尔可夫链。
其马尔可夫性可以表示为：

对 $\forall n \geq 2$ , $\forall t_{1} < t_{2} < ... <t_{n} \in T$ , $i_{1}, i_{2}, ..., i_{n} \in S$ , 有下式成立：

$$\begin{equation} \begin{split} &P(X(t_{n})=i_{n}|X(t_{1})=i_{1}, X(t_{2})=i_{2}, ... ,X(t_{n-1})=i_{n-1})\\ &= P(X(t_{n})=i_{n}|X(t_{n-1})=i_{n-1}) \end{split} \end{equation}$$ 也就是说当前状态只与前一时刻的状态有关。

转移概率

定义 称条件概率 $P_{ij}(n)=P\{X_{n+1}=j|X_{n}=i\}$ 为马尔可夫链 $\{X_{n}, n \in T\}$ 在时刻 $n$ 的一步转移概率，简称为转移概率，其中 $i,j \in S$ 。

若对任意的 $i,j \in I$, 马尔可夫链 $\{X_{n}, n \in T \}$ 的转移概率 $P_{ij}(n)$ 与 $n$ 无关，则称该马尔可夫链是齐次的，并记 $P_{ij}(n)$ 为 $P_{ij}$ 。

齐次马尔可夫链的状态转移（概率）矩阵为：

$$P= \left[ \begin{matrix} P_{11} & P_{12} & \ldots \\ P_{21} & P_{22} & \ldots \\ \ldots & \ldots & \ldots \\ \end{matrix} \right]$$

状态转移矩阵满足以下性质
(1) $P_{ij} \geq 0, \forall i, j \in S$
(2) $\sum_{j \in S} P_{ij}=1, \forall i \in S$

例子

社会学家通常按经济状况将人分成三类：下层（lower-class），中层（middle-class）和上层（upper-class）。我们用1，2，3分别代表这三个阶层。社会学家发现决定一个人所属阶层最重要的因素是其父母所属的阶层。从父代到子代，其阶层变化的转移概率如下所示：

可以用马尔可夫链来进行建模，其状态转移矩阵为

$$P= \left[ \begin{matrix} 0.65 & 0.28 & 0.07 \\ 0.15 & 0.67 & 0.18 \\ 0.12 & 0.36 & 0.52 \end{matrix} \right]$$

假设当前某人处在下层、中层、上层的概率分别为 $\pi_{0}(1)$ , $\pi_{0}(2)$ , $\pi_{0}(3)$ . 记 $\pi_{0}=[\pi_{0}(1),\pi_{0}(2),\pi_{0}(3)]$ 为马尔可夫链的初始概率分布。则该人的子女属于各阶层的概率分布为 $\pi_{1}=\pi_{0}P$ ，其子女的子女的所属阶层的概率分布为 $\pi_{2}=\pi_{1}P=\pi_{0}P^{2}$ ，，，以此类推其第 $n$ 代子孙的所属阶层的概率分布为 $\pi_{n}=\pi_{0}P^{n}$ 。

若当前此人属于上层，对应的初始概率分布为 $\pi_{0}=[0,0,1]$ ，可以计算出其第 $n$ 代子孙所属阶层的概率分布如下：

可以发现从第13代开始，这个分布就稳定不变了。实际上，从任意初始概率分布开始都会稳定到上面这个概率分布。

平稳分布

[马氏链定理]如果一个非周期马尔可夫链的转移矩阵为 $P$ ，且它的任何两个状态是连通的，那么 $\lim \limits_{n \to \infty} P_{ij}^{n}$ 存在且与 $i$ 无关，记 $\lim \limits_{n \to \infty} P_{ij}^{n}=\pi(j)$ ，我们有

$$\lim \limits_{n \to \infty} P_{ij}^{n}= \left[ \begin{matrix} \pi(1) & \pi(2) & \ldots & \pi(j) & \ldots \\ \pi(1) & \pi(2) & \ldots & \pi(j) & \ldots \\ \ldots & \ldots & \ldots & \ldots & \ldots \\ \pi(1) & \pi(2) & \ldots & \pi(j) & \ldots \\ \ldots & \ldots & \ldots & \ldots & \ldots \end{matrix} \right]$$

$$\pi(j)=\sum_{i=0}^{\infty}\pi(i)P_{ij}$$
$\pi$ 是方程 $\pi P=\pi$ 的唯一非负解。其中
$$\pi=[\pi(1),\pi(2),\ldots,\pi(j),\ldots], \sum_{i=0}^{\infty}\pi(i)=1$$ 则称 $\pi$ 为马尔可夫链的 平稳分布。

注：存在稳态分布要求马尔可夫链是连通的（没有孤立点），同时不存在一个连通子图是没有对外的出边的（像黑洞一样）。

[细致平稳条件] 如果非周期马尔可夫链的转移矩阵 $P$ 和分布 $\pi$ 满足

$$\pi(i)P_{ij}=\pi(j)P_{ji}, \forall \ i,j$$ 则 $\pi$ 是马尔可夫链的平稳分布。

这个定理是显而易见的，因为细致平稳条件的物理含义就是对于任何两个状态 $i,j$ ，从 $i$ 转移出去到 $j$ 而丢失的概率质量，恰好会被从 $j$ 转移回来到 $i$ 的概率质量补充，所以状态 $i$ 上的概率质量 $\pi(i)$ 是稳定的，从而 $\pi$ 是马尔可夫链的平稳分布。数学上的证明也很简单，由细致平稳条件可得：

$$\begin{equation} \begin{split} &\sum_{i=1}^{\infty}\pi(i)P_{ij}=\sum_{i=1}^{\infty}\pi(j)P_{ji}=\pi(j)\sum_{i=1}^{\infty}P_{ji}=\pi(j) \\ &\Rightarrow \pi P=\pi \end{split} \end{equation}$$
由于 $\pi$ 是方程 $\pi P=\pi$ 的解，所以 $\pi$ 是平稳分布。

马氏定理和细致平稳条件非常重要，是MCMC(Markov Chain Monte Carlo) 方法的基础