高斯分布抽样

最新推荐文章于 2023-09-14 12:28:56 发布

omadesala

最新推荐文章于 2023-09-14 12:28:56 发布

阅读量1.3w

点赞数 6

分类专栏：基础概念文章标签：高斯分布样本抽样

本文链接：https://blog.csdn.net/omade/article/details/28231101

版权

基础概念专栏收录该内容

13 篇文章

订阅专栏

高斯分布抽样

标准正态分布

$X \sim N(0,1)$

$f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

给定均值，方差的正态分布

$X \sim N(\mu,\sigma^2)$

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{\left (x-\mu \right )^2}{2\sigma^2}}$

如何从标准正态分布生成给定均值方差的抽样

$X1=\delta X +\mu$

$X1 \sim N(\mu,\delta^2)$

上面是对应的一维的情况，在多维的情况下有下面的结论

$X \sim N(\boldsymbol{\mu},\boldsymbol{\sum})$

$X1 = \boldsymbol{\mu_1}+LX$

$X1 \sim N(\boldsymbol{\mu_1}+L\boldsymbol{\mu},L\boldsymbol{\sum}L^T)$

${\sum}_1 = LL^T$

先来看这个线性变换后的均值部分

$\\E[X1] =E[ \boldsymbol{\mu_1}+LX]\\=\boldsymbol{\mu_1}+E[LX]\\=\boldsymbol{\mu_1}+L\boldsymbol{\mu}$

得到均值后，我们再来考虑方差部分

利用方差的定义有下面结论

$\\{\sum}_1=E\left (\left (\mathbf{X_1}-\left (\boldsymbol{\mu_1}+L\boldsymbol{\mu} \right ) \right )\left (\mathbf{X_1}-\left (\boldsymbol{\mu_1}+L\boldsymbol{\mu} \right ) \right )^T \right )\\{\sum}_1=E\left (\left (\boldsymbol{\mu_1}+L\mathbf{X}-\left (\boldsymbol{\mu_1}+L\boldsymbol{\mu} \right ) \right )\left (\boldsymbol{\mu_1}+L\mathbf{X}-\left (\boldsymbol{\mu_1}+L\boldsymbol{\mu} \right ) \right )^T \right )\\{\sum}_1=E\left (L\left (\mathbf{X}-\boldsymbol{\mu} \right )\left (L\left (\mathbf{X}-\boldsymbol{\mu} \right ) \right )^T \right )\\{\sum}_1=E\left (L\left (\mathbf{X}-\boldsymbol{\mu} \right )\left (\mathbf{X}-\boldsymbol{\mu} \right )^TL^T \right )\\{\sum}_1=LE\left (\left (\mathbf{X}-\boldsymbol{\mu} \right )\left (\mathbf{X}-\boldsymbol{\mu} \right )^T \right )L^T\\{\sum}_1=L\sum L^T$

假设有一个 $x\sim [0,1]$ 的均匀分布，我们希望得到 $y\sim [0,3]$ 的均匀分布

我们令 $y=3x$ 就可以从[0,1]分布来生成[0,3]上面的均匀分布

那么y等于某个数 $y^*$ 的概率

$y=y^*=3x$

$x=\frac{y^*}{3}$

可以看出来，这里有一个求逆的想法在里面

假设 $X \sim f(x)=\frac{1}{3},x \in [0,3]$

这是一个[0,3]上得均匀分布

$Y=\phi(X)$ 是一个可逆变换

关于X的分布函数

$F(x)=P(X\leqslant x)=\int_{-\infty}^{x}f(t)dt$

那么X的概率分布函数为

$F(x)=\frac{1}{3}x$

那么Y的概率分布函数为

$G(y)=P(Y\leqslant y)=P(\phi^{-1}(Y)=X\leqslant \phi^{-1}(y))=F(\phi^{-1}(y))$

再求导我们就能得到 Y 的概率密度函数：

$g(y)=\frac{dG(Y)}{dy}=\frac{dF(\phi^{-1}(y))}{dy}=f(\phi^{-1}(y))\frac{\phi^{-1}(y))}{dy}\\$

这就求得了一个随机变量在某种映射 $\phi$ 下的概率密度函数

如果已经知道了目标概率分布，那么反过来就可以求得这个映射变换 $\phi$

给定目标 $g(y)=\frac{1}{9}y^2$

从上面的公式可以得到

$g(y)=\frac{1}{9}y^2=f(\phi^{-1}(y))\frac{\phi^{-1}(y))}{dy}\\$

$\frac{1}{9}y^2=\frac{1}{3}\frac{\phi^{-1}(y))}{dy}\\$

$\phi^{-1}(y))=\int\frac{1}{3}y^2dy=\frac{1}{9}y^3\\$

那么可以得到

$\\\phi(x)=\left (9x \right )^{\frac{1}{3}}$

也就是说，把得到的随机数 X 带入到到函数这个映射中所得到的结果就是我们期望的效果

我们再来考虑一个二维的且两个维度相互独立的高斯分布,0均值，方差为1，它的概率密度函数为

$f(x,y)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}=\frac{1}{2\pi}e^{-\frac{x^2+y^2}{2}}$

转化到极坐标下

$x=rcos\theta,y=rsin\theta,\theta \in [0,2\pi),r \in [0,+\infty)$

转化后的效果如下

$\\f(x,y)=\frac{1}{2\pi}e^{-\frac{x^2+y^2}{2}}\\f(\theta,r)=\frac{1}{2\pi}e^{-\frac{\left (rcos\theta \right )^2+\left (rsin\theta \right )^2}{2}}\\=\frac{1}{2\pi}e^{-\frac{r^2}{2}}$

那么分布函数为：

$\\P(r\leqslant R)=\int_{0}^{2\pi}\int_{0}^{+\infty}\frac{1}{2\pi}e^{-\frac{r^2}{2}}rdrd\theta\\=\int_{0}^{R}e^{-\frac{r^2}{2}}rdr\\=1-e^{-\frac{R^2}{2}}$

我们现在得到了关于r的概率分布函数

$\\t=1-e^{-\frac{R^2}{2}}\\-\frac{R^2}{2}=log(1-t)\\R^2=-2log(1-t)\\R=\sqrt{-2log(1-t)}$

求得映射为

$\phi(t)=\sqrt{ -2log(1-t)}$

假设有两个在[0,1]上得均匀分布T1，T2，那么

$2\pi T1$ 就得到 $\theta$

$\phi(T_2)=\sqrt{ -2log(1-T_2)}$ 就得到了r

由于T2 与 1-T2是相同的分布

$\phi(T_2)=\sqrt{ -2log(T_2) }$

再把极坐标换回笛卡尔坐标：

$\left\{\begin{matrix}x=rcos\theta=\sqrt{ -2log(T_2) }cos\left ( 2\pi T_1 \right )\\y=rsin\theta=\sqrt{ -2log(T_2) }sin\left ( 2\pi T_1 \right )\end{matrix}\right.$

这就是二维的标准正态分布的抽样公式了

再利用上面的关于任意多维度抽样的变换，就可以得到多维正态分布的抽样了

还是举个例子来看，我们得到了二维独立的0均值，方差为1的高斯分布

$\mathbf{X}=\begin{pmatrix}X_1\\ X_2\end{pmatrix},\boldsymbol{\mu}=\begin{pmatrix}\mu_1\\ \mu_2\end{pmatrix},\sum =\begin{pmatrix}\delta_{11}&\delta_{12}\\ \delta_{21}&\delta_{22}\end{pmatrix}$

带人数值得到

$\mathbf{X}=\begin{pmatrix}X_1\\ X_2\end{pmatrix},\boldsymbol{\mu}=\begin{pmatrix}0\\ 0\end{pmatrix},\sum =\begin{pmatrix}1&0\\ 0&1\end{pmatrix}$

假设我们有一个给定概率分布的二维高斯分布

$\mathbf{Y}=\begin{pmatrix}Y_1\\ Y_2\end{pmatrix},\boldsymbol{\mu}=\begin{pmatrix}1\\ 2\end{pmatrix},\sum =\begin{pmatrix}5&2\\ 2&1\end{pmatrix}$

进行如下 Cholesky 分解

$\sum =\begin{pmatrix}5&2\\ 2&1\end{pmatrix}=LL^T=\begin{pmatrix}2.2361&0\\ 0.8944&0.4472\end{pmatrix}\begin{pmatrix}2.2361&0\\ 0.8944&0.4472\end{pmatrix}^T$

Y分量服从

$Y=\boldsymbol{\mu_1}+\mathbf{LX}$

前面我们已经做了cholesky分解得到L，那么根据这个公式进行变换就可以期望得到分布

先从标准分布的到X,进行上面的运输得到新的变量就OK了

$\begin{pmatrix}Y_1\\Y_2\end{pmatrix}=\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix}+\begin{pmatrix}l_{11} &0 \\l_{21} &l_{22}\end{pmatrix}\begin{pmatrix}X_1\\ X_2\end{pmatrix}$