MCMC（蒙特卡洛采样）

1.MCMC是一种随机性近似推断方法，核心思想是求复杂概率分布下的期望值

2.采样的样本应该趋于高概率区域以及样本之间相互独立

3.如果p(z)分布简单，可以通过概率分布采样得到所需要的样本

4.大多情况下，归一化因子无法求解和维度灾难的问题，无法直接得到p(z)分布

5.需要近似的方法去求解期望，主要借助蒙特卡洛随机近似思想

6.常用的蒙特卡洛采样方法有拒绝采样、重要性采样和MCMC

7.拒绝采样主要通过提议分布逼近复杂概率分布p(z)得到采样点

8.重要性采样直接对期望采样，可以解决原分布难采样的问题

马尔科夫链蒙特卡洛方法，英文是Markov Chain Monte Carlo，简称MCMC。是一种随机性近似推断方法，它也是求解隐变量后验分布的一种推断方法，核心思想是求复杂概率分布p(z)下对函数f(z)的期望值：

也就是用N的样本均值作为期望值。问题就转化为尽量保证采集的N个样本能反映总体。也就是如何进行采集更加合理。

要理解MCMC，得了解蒙特卡洛和马尔可夫链，这一节小编先介绍蒙特卡洛近似方法。

蒙特卡洛方法

蒙特卡洛方法（Monte Carlo）是一种随机模拟的方法。最早的蒙特卡洛方法都是为了求解一些不太好求解的求和或者积分问题，比如下面的积分：