随机采样方法

背景

随机模拟中有一个重要的问题就是给定一个概率分布p(x)，我们如何在计算机中生成它的样本。一般而言均匀分布 Uniform(0,1)的样本是相对容易生成的。 通过线性同余发生器可以生成伪随机数，我们用确定性算法生成[0,1]之间的伪随机数序列后，这些序列的各种统计指标和均匀分布 Uniform(0,1) 的理论计算结果非常接近。这样的伪随机序列就有比较好的统计性质，可以被当成真实的随机数使用。

蒙特卡洛数值积分

对于一个连续函数f，它的积分公式为：
$$F={\int }_a^{b}f(x)dx$$

如果我们要求上面的f(x)的积分，而f(x)的形式比较复杂积分不好求，则可以通过数值解法来求近似的结果。常用的方法是蒙特卡洛积分：
$$F^N=\frac{1}{N}\sum _{i=1}^N\frac{f(X_i)}{pdf(X_i)}$$

蒙特卡罗最关键的就是理解这条公式了。其他延伸探讨都可以暂时忽略。那么这条公式如何理解呢？首先第一点是，虽然这条公式没有积分符号∫，但是它认被称为积分，这是因为这公式的作用相当于在对f(x)做积分，只不过不那么“精确”，即蒙特·卡罗积分是对理想积分的近似。
那么这个近似是如何完成的？很简单，核心就是两个字：采样(Sampling)。对一个连续函数的采样方法是在该函数的定义域中随机挑N个值，并求出对应的N个$f(X_i)$，就得到了样本集合。再对这些样本集合做一些换算，就可以得到一个近似的积分了。对于蒙特·卡罗积分，采样样本越多，就越逼近真实的积分结果，这是蒙特·卡罗积分的最核心特性。
继续观察上面的公式，里面还有一个极其重要的参数：pdf(probability distribution function，概率分布函数)。pdf还有个近亲pmf:

pdf和pmf

• pmf(probability mass function)，指的是离散的随机变量的概率分布函数
• pdf(probability distribution function)， 指的是连续的随机变量的概率分布函数
  离散的随机变量X的数学期望为：
  $$E[X]=\sum _{x_i}{f}_{pmf}(x_i)x_i$$
  连续的随机变量X的数学期望为：
  $$E[X]={\int }_{-\infty }^{\infty }{f}_{pdf}(x)xdx$$

pdf和pmf名字接近，含义也是接近。pdf、pmf函数的参数都是样本值x，返回值是概率，即表示一个样本出现的概率，所有样本的出现概率之和(概率的积分)应等于1。要注意的是，pdf、pmf的存在说明有可能每个样本的出现概率都是各不相同的。

pmf

pmf的简单例子就是基于均匀分布的离散的随机变量X，此时$f_{pmf}(X_i)$恒等于1/N，含义是每个随机样本的出现概率等于$\frac{1}{样本总数}$

pdf

借用http://www.scratchapixel.com/的一个很好的例子来说明：

这个例子中，目标问题是求出该函数[a,b]段曲线下方的面积(最后一幅图的黑色区域)，也就是要求该函数[a,b]段的积分。基于蒙特·卡罗积分的解法，就要用上面给出的公式：
F N = 1 N ∑ i = 1 N f ( X i ) p d f ( X i ) F^{N} = \frac {1}{N}\sum _{i=1}^{N}\frac {f(X_{i})}{ pdf(X_{i}) } FN=N1​