蒙特卡罗方法

一，采样和蒙特卡罗方法

为什么需要采样

当我们需要以较小的代价近似许多项的和或某个积分时，采样是一种很灵活的选择。

蒙特卡罗采用的基础

蒙特卡罗方法的思想是把这个和或者积分视作某分布下的期望，然后通过估计对应的平均值来近似这个期望。

令：

$$s=\sum_xp(x)f(x)=E_p[f(x)]$$
或者
$$s=\int p(x)f(x) dx=E_p[f(x)]$$
那么我们就可以通过从分布 $p$中抽样出n个样本 $x^{(1)},x^{(2)},…,x^{(n)}$来近似s并得到一个经验平均值：
$$\hat s_n=\frac{1}{n}\sum_{i=1}^{n}f(x^{(i)})$$
其中基本依据是 大数定理和 中心极限定理。

但有时我们并不能从基准分布$p(x)$中轻易地采样，这就需要一些其他采样的方法，如重要采样等等，但其中最通用的方式是构建一个收敛到目标分布的估计序列，这就是MCMC（马尔可夫链蒙特卡罗方法）。

二，重要采样

在蒙特卡罗方法中确定积分中哪一部分作为概率分布 p