重要性采样

Importance Sampling
  目的： 在概率密度函数分布$p(x)$极其不均匀和特征函数$f(x)$很复杂的情况下，更精确的估计样本期望$E_{X\sim p(x)}[f(x)]=E[f]$。
  利用随机采样，用样本均值估算$X\sim p(x)$的期望$E_{X\sim p(x)}[f(x)]=E[f]$，可利用公式(1)估算：
$$E[f]=\frac{1}{N}\sum _{i=1}^{N}f\left(x_i\right)\text{\hspace{1em}(1)}$$然而上式仅适合于$f(x)$趋向均匀分布的情况。当非均匀分布时，采用随机采样会导致期望的偏差bias很大，此时，要么增大采样的数量（大数定理告诉我们，样本数足够大，采样样本的分布越近似原分布），要么引入重要性采样，用修正因子来表示重要性采样的权重，以便让样本期望和真实期望偏差尽可能小。

  做法： 引入一个和$p(x)$有一定相似度的函数$\pi (x)$，将问题转化为求$E[f]={\int }_{x}p(x)\frac{\pi (x)}{p(x)}f(x)dx$，$E[f]=\frac{1}{N}{\sum }_{i=1}^N\frac{\pi \left(x_i\right)}{p\left(x_i\right)}f\left(x_i\right)$，此时就有$\frac{\pi \left(x_i\right)}{p\left(x_i\right)}$为重要性采样的权重。