重要性采样(importance sampling)
重要抽样主要为了解决一下几种问题:
1. 为了减小蒙特卡洛方法的方差
2. 为了对很少发生事件(rare event)进行有效采样,这类问题如果用传统蒙特卡洛采样会需要非常大的样本
3. 对于不容易抽样的样本进行抽样(有的样本遵循的概率分布函数
比较复杂,不易抽样)
下边以一个例子对 rare event 的采样问题进行说明:1. 我们对事件
进行采样,已知
发生的概率为
,2. 我们想用常规的蒙特卡洛方法来估计
- 记:
- 我们想要得到蒙特卡洛对
的估计的标准差和是一个数量级的,即,一般
首先,用蒙特卡洛对
估计等价于计算"标记函数"
的期望
。
事实上
遵循伯努利分布,
(当
)
利用蒙特卡洛方法对随机变量
进行估计,则有
根据蒙特卡洛采样的性质:
,
如果需要
,则需要
如果
,那么