【详解+推导！！】蒙特卡洛方法、接受拒绝采样、重要性采样、MCMC方法

蒙特卡洛方法、接受拒绝采样、重要性采样、MCMC方法

一、蒙特卡洛方法

1. 什么是蒙特卡洛方法

蒙特卡罗方法也称统计模拟方法，以概率为基础的方法，与它对应的是确定性算法，其核心思想是使用采样+平均(随机近似)的方式去估计出无法计算的值。

蒙特卡洛方法的一个重要应用就是求定积分。来看下面的一个例子。

2. 蒙特卡洛积分推导

我们先说明一般情况再举具体的例子。假设要计算的积分如下：

$$I={\int }_a^{b}g(x)dx$$
其中被积函数$g(x)$在$[a,b]$内可积,我们选择一个概率密度函数为$f_X(x)$的方式进行采样，并且保证在$[a,b]$内该采样函数的概率和为1，即${\int }_a^b{f}_X(x)dx=1$，那么原积分可写成：
$$\begin{array}{rl}I& ={\int }_a^b\frac{g(x)}{f_X(x)}{f}_X(x)dx\\ & ={\int }_a^b\frac{g(x)}{f_X(x)}dx\cdot {\int }_a^b{f}_X(x)dx\\ & ={\int }_a^b\frac{g(x)}{f_X(x)}dx\end{array}$$
我们以概率密度函数$f_X(x)$的方式进行采样，得到$N$个样本，则可以将上面的式子写成离散形式：
$$I^{\prime }=\frac{1}{N}\sum _{i=1}^N\frac{g(x_i)}{f_X(x_i)}$$
则有 $I^{\prime }\approx I$

举例子：

上面的例子其实就是取$f_X$为均匀分布：
$$f_X(x)=\frac{1}{b-a},a$$