机器学习系列手记（八）：采样之常见的采样方法

采样

常见的采样方法

      对于一个随机变量，通常用概率密度函数来刻画该变量的概率分布特性。具体来说，给定随机变量的一个取值，可以根据该密度函数来计算该值对应的概率（密度）。反过来，也可以根据概率密度函数提供的概率分布信息来生成随机变量的一个取值，这就是采样。因此，从某种意义上来说，采样是概率密度函数的逆向应用。与根据概率密度函数计算样本点对应的概率值不同，采样过程往往没那么直接，通常需要根据待采样分布的具体特点来选择合适的采样策略。
      几乎所有的采样方法都是以均匀分布随机数作为基本操作。首先假设已经可以生成[0,1]上的均匀分布随机数，比如邮箱离散分布可以用轮盘赌算法来采样。然而，很多分布一般不好直接进行采样，可以考虑函数变换法。一般地，如果随机变量 $x$ 和 $u$ 存在变换关系 $u=\varphi (x)$ ，则他们的概率密度函数有如下关系：

      因此，如果从目标分布 $p(x)$ 中不好采样 $x$，可以构造一个变换 $u=\varphi (x)$ ，使得从变换后的分布 $p(u)$ 中采样 $u$ 比较容易，这样可以通过先对 $u$ 进行采样然后通过反函数 $x={\varphi }^{-1}(u)$ 来间接得到 $x$。如果是高维空间的随机向量，则 ${\varphi }^{{}^{\prime }}(x)$ 对Jacobian行列式。
      特别地，在函数变换法中，如果变换关系 $\varphi$