第十四课.马尔科夫链

马尔科夫链

随机过程指的是一个随机变量序列： { X t } \left\{X_{t}\right\} {Xt​}，而马尔科夫链就是随机过程中的一种典型类型，其概率图如下：

马尔科夫链在不同的时间 $t$ 对应着不同的状态节点 $x_t$，实际上就是用时间串联起来的一个个随机变量，这一组随机变量共享一个状态空间，其中包含 $n$ 个状态，每一个时间节点对应的随机变量都会取这个状态空间中的一个具体状态。

随着时间不断向前移动，马尔科夫链中的不同状态节点就在不同的状态之间进行转移，从而派生了马尔科夫链中的重要参数：状态转移矩阵 $P$，这个矩阵应该是一个$n\times n$的方阵：

其中某个具体元素$P_{ij}$表示从状态$i$转移到状态$j$的概率。用条件概率描述即为：
$$P_{ij}=p(x_{t+1}=j|x_t=i)$$
这里只考虑一阶齐次马尔科夫链，即未来状态只取决于现在，与过去无关，用条件概率描述为：
$$p(x_{t+1}=x|x_1,x_2,x_3,...,x_t)=p(x_{t+1}=x|x_t)$$
对于马尔科夫链概率图中每个时间$t$节点对应的${\pi }_t$，其表示$t$时刻的概率分布。因为节点之间的状态是依照概率进行转移的，也就是任意时刻$t$节点，对于$n$个状态中的任意一个状态，它都有可能取到，因此${\pi }_t$是一个向量，对应在$t$时刻，$n$个不同状态中每一个状态出现的概率：
$${\pi }_t=[{\pi }_t(1),{\pi }_t(2),{\pi }_t(3),...,{\pi }_t(n)],\sum _{i=1}^n{\pi }_t(i)=1$$
依照状态转移的定义，将$t$时刻和$t+1$时刻的状态分布${\pi }_t,{\pi }_{t+1}$，以及状态转移矩阵$P$结合有：
$${\pi }_{t+1}(x^{\ast })=\sum _x{\pi }_t(x)p(x^{\ast }|x)$$
其中，$x$和$x^{\ast }$是这个马尔科夫链状态空间中$n$个状态里的任意两个状态。总体合成状态转移矩阵和状态分布向量之间相乘的形式为：
$${\pi }_{t+1}={\pi }_{t}P$$

马尔科夫链的平稳分布

对于某一个具体的马尔科夫链，每一个时刻$t$都有一个状态分布${\pi }_t$，但是如果对于任意不同的时刻$t$和$t+1$，他们的分布保持不变，都为$\pi$的话，那么状态分布$\pi$就是这个马尔科夫链的平稳分布，按照定义满足：
$$\pi =\pi P$$
即当从某个时刻$t$开始，他的各个状态服从平稳分布$\pi$的话，那么后续的任意时刻，状态分布都为平稳分布$\pi$。

马尔科夫链进入稳态的转移过程

结合上面的内容，回顾马尔科夫链上各个相邻时间节点之间的状态转移变化过程：

$t=1$时刻：从${\pi }_1$中，依概率采样状态$x_1$，即$x_1\sim {\pi }_1$；

$t=2$时刻：从${\pi }_2$中，依概率采样状态$x_2$，显然$x_2\sim {\pi }_2$，其中${\pi }_2={\pi }_{1}P$；

$t=3$时刻：从${\pi }_3$中，依概率采样状态$x_3$，显然$x_3\sim {\pi }_3$，其中${\pi }_3={\pi }_{2}P$；

以此类推，经过了一段时间，当$t=k$的时候，我们发现：

• $t=k$时刻，从${\pi }_k$中，依概率采样状态$x_k$，我们发现$x_k\sim {\pi }_k$；
• $t=k+1$时刻，从${\pi }_{k+1}$中，依概率采样状态$x_{k+1}$，我们发现$x_{k+1}\sim {\pi }_{k+1}$，但是此时${\pi }_{k+1}={\pi }_k$，后续也将延续此情况，即马尔科夫链进入了稳态。

马尔科夫链稳态的意义

当马尔科夫链进入稳态之后，每一个不同的时刻$t$都会对应状态集里的一个状态，当然它是随机的，由于进入了稳态，他们都服从同一个分布，即马尔科夫链的稳态分布$\pi$，依照大数定理，将进入平稳状态之后的每个$t$时刻的状态都作为一个样本，而形成一个样本集，这个样本集就可以作为这个平稳分布的近似。

这里有两个事情：

• 实际工程中，如何判断进入到平稳分布？进入平稳分布前的时间被称为"燃烧期"，我们可以给燃烧期取较长时间，从而确保马尔科夫链进入稳态；
• 进入稳态后，采样的时间节点越多，样本集就越能作为平稳分布的近似。

后续思路就简单了，如果要通过采样的方式去求取目标分布$p(z)$，那我们就引入马尔科夫链的稳态分布，让我们的目标分布恰为某一个马尔科夫的稳态分布，那么我们在该马尔科夫链上进行长时间的状态转移，燃烧期之后我们收集到进入稳态后各个时刻点的样本，该样本集就可以作为目标分布的一个近似。

稳态判定：细致平稳条件

对于判定分布$\pi$是马尔科夫链的稳态分布，可以使用细致平稳条件：给定一个马尔科夫链的状态转移矩阵$P$，以及一个分布$\pi$，如果满足：
$$\pi (x)p(x^{\ast }|x)=\pi (x^{\ast })p(x|x^{\ast })$$
其中，$x$和$x^{\ast }$是该马尔科夫链状态空间中任意两个给定状态，那么分布$\pi$就是该马尔科夫链的稳态分布。

证明如下：

由于$\pi (x)p(x^{\ast }|x)=\pi (x^{\ast })p(x|x^{\ast })$，那么对等式两侧同时关于状态$x$所有的可取值进行求和：
$$\sum _x\pi (x)p(x^{\ast }|x)=\sum _x\pi (x^{\ast })p(x|x^{\ast })=\pi (x^{\ast })\sum _{x}p(x|x^{\ast })$$
显然，当$x$取遍状态集合中的所有状态时，有：
$$\sum _{x}p(x|x^{\ast })=1$$
因此：
$$\sum _x\pi (x)p(x^{\ast }|x)=\pi (x^{\ast })$$
这正是平稳分布的定义，从而证明了细致平稳条件是正确的。