机器学习系列手记（八）：采样之高斯分布采样

最新推荐文章于 2024-09-17 01:00:00 发布

岳小刀

最新推荐文章于 2024-09-17 01:00:00 发布

阅读量1.3w

点赞数 4

分类专栏：机器学习系列手记文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/yly_3026925713/article/details/105343863

版权

本文介绍了高斯分布采样的几种方法，包括逆变换法、Box-Muller算法、Marsaglia极坐标方法和拒绝采样法。详细探讨了每种方法的步骤和适用场景，强调了在机器学习中高效采样的重要性。

摘要由CSDN通过智能技术生成

采样

高斯分布采样

      首先，假设随机变量 $z$ 服从标准正态分布 $N (0, 1)$ ，令
$x=\sigma \cdot z + \mu$
则 $x$ 服从均值为 $\mu$ 、方差为 $\sigma^{2}$ 的高斯分布 $N(\mu, \sigma^{2})$ 。因此，任意高斯分布都可以由标准正态分布通过拉伸和平移得到，所以这里只考虑标准正态分布的采样。常见的采样方法有逆变换法、拒绝采样、重要性采样、马尔科夫蒙特卡罗采样法等。具体到高斯分布，采样步骤如下。
      如果直接使用逆变换法，基本操作步骤为：
      （1）产生[0,1]上的均匀分布随机数 $\mu$ 。
      （2）令 $z=\sqrt{2}erf^{-1}(2\mu-1)$ ，则 $z$ 服从标准正态分布。其中 $erf(\cdot)$ 是高分布斯误差函数，它是标准正态分布的累积函数经过简单平移和拉伸变换后的形式，定义如下
在这里插入图片描述
      上述逆变换法需要求解 $e r f (x)$ 的逆函数，这并不是一个初等函数，没有显示解，计算起来比较麻烦。所以为了避免这种非初等函数的求逆操作，Box-Muller算法提出了如下解决方案：既然单个高斯分布的累积分布函数不好求逆，那么两个独立的高斯分布的联合分布呢？假设 $x, y$ 是两个服从标准正态分布的独立随机变量，它们的联合概率密度为
$p(x,y)=\frac{1}{2π}e^{-\frac{x^2+y^2}{2}}$
      考虑 $(x,$