蒙特卡洛法（一）

蒙特卡洛法也成为统计模拟方法，通过从概率模型的随机抽样进行近似数值计算的方法。马尔科夫链蒙特卡洛法则是以马尔科夫链为概率模型的蒙特卡洛法，构建一个马尔科夫链，使其平稳分布就是要进行抽样的分布，首先基于该马尔可夫链进行随机游走，产生样本的序列，之后使用该平稳分布的样本进行近似数值计算

1 蒙特卡洛法

蒙特卡洛法在随机抽样、数学期望估计、定积分计算的应用

1.1 随机抽样

蒙特卡洛法要解决的问题是，假设概率分布的定义已知,通过抽样获得概率分布的随机样本，并通过得到的随机样本对概率分布的特征进行分析。比如，从样本得到经验分布，从而估计总体分布；或者从样本计算出样本均值，从而估计总体期望。所以蒙特卡洛核心是随机抽样。

 （直接抽样法、接受-拒绝抽样法，重要性抽样法等）

接受-拒绝抽样法：

基本思想：假设p(x)不可以直接抽样，找一个可以直接抽样的分布，称为建议分布。并假设q(x)是建议分布的概率密度函数并且q(x)的c倍一定大于p(x)，其中c>0。

   

如上图，按照q(x)进行抽样，假设得到结果为x'，再按照cq(x)/p(x)的比例随机决定是否接受x‘。直观上，落到p(x)范围内的就接受（绿色），范围外的就拒绝（红色）。

接受或者拒绝实际上是按照p(x)的涵盖面积占cq(x)的涵盖面积的比例进行抽样。

算法步骤：

输入：抽样的目标概率分布的概率密度函数p(x);输出：概率分布的随机样本x1.x2等；参数：样本数n。

（1）选择概率密度函数为q(x)分布的概率分布做为建议分布，满足对于任意x，q(x)的c倍一定大于p(x)，其中c>0。

（2）按照建议分布q(x)随机抽样得到样本x’。再按照均匀分布再(0，1)范围内抽样得到u。

（3）如果u<=（p(x')/cq(x')）,则将x‘做为抽样结果；否则返回步骤（2）

（4）直至得到n个随机样本。

接受拒绝法容易实现，但是当p(x)的涵盖体积占cq(x)的涵盖体积比列很低的时候会导致抽样效率低。

1.2 数学期望估计

假设取随机变量x，属于空间X，其概率分布函数为p(x)，f(x)为定义在X上的函数，目标是求取f(x)关于概率密度函数p(x)的数学期望Ep(x)[f(x)]。

针对此问题，蒙特卡洛法按照按照概率分布独立取n个随机样本x1，x2……xn，可计算f(x)的样本均值fn 作为数学期望的近似值。

 

根据大树定理，当样本容量增大时样本均值以概率1收敛于数学期望

这样就得到了数学期望的近似计算方法。

1.3 积分计算

一般的蒙特卡洛法可用于定积分的近似计算，称为蒙特卡洛积分

假设有一个函数h(x)，目标是计算该函数的积分。将函数h(x)分解为一个函数和概率密度p(x)的乘积形式。则有：

则函数h(x)的积分可以表示为f(x)关于概率密度函数p(x)的数学期望。实际上给定一个概率密度函数p(x),取。

也就是说任何一个函数的积分都可以表示为某一个函数的数学期望形式，而函数的数学期望又可以通过函数的样本均值估计，于是可以利用样本均值来近似计算积分，这就是蒙特卡洛积分的基本想法