马尔可夫链蒙特卡洛法（MCMC）知识点总结

最新推荐文章于 2024-09-16 01:15:00 发布

XiaomengYe

最新推荐文章于 2024-09-16 01:15:00 发布

阅读量4.2k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/xiaomeng29/article/details/87895083

版权

机器学习专栏收录该内容

13 篇文章 0 订阅

订阅专栏

MCMC方法最初来源于上世纪的物理学物理学研究，它解决了一类采样问题，且对于高维分布数据同样适用。在说明MCMC之前应该先了解一下蒙特卡洛求积分的方法，这点请参考文献[3]。

马尔可夫链的极限概率

对于马尔可夫转移矩阵 A，我们知道它的每一行的和都为1，且元素的都在区间[0,1]之间。它有两个性质：

1. A有特征值 $\lambda_1 = 1$ 2. A的所有其它特征值的绝对值都小于1 $|\lambda_i| < 1$ （证略）

有了这两个性质，我们得出一个非常有趣的结论。对于马尔可夫链的初始状态概率分布 $\pi_0$ ，其经过 k 次状态转移之后，其概率分布为： $\pi_k = A^{k} \cdot \pi_0$ 。我们知道 $\pi_0$ 可以表示为 A 的特征向量的线性组合，我们设 A 的特征值为 $\lambda_1, \lambda_2,...,\lambda_n$ ，对应特征向量为 x_1, x_2,...,x_n 。我们有 $\pi_k = A^{k} \cdot \pi_0 = c_1\lambda_1^kx_1 + c_2\lambda_2^kx_2 + ...$ ，由于 $\lambda_1 = 1$ 且 $|\lambda_i| < 1$ ，所以当k趋近于无穷时，我们有 $\pi_k = c_1x_1$ ，所以 $\pi_k$ 是收敛的，设其收敛于 $\pi^*$ ，且 $\pi^* = A\pi^*$ ，即和初始状态分布无关。