【统计学习方法】高斯分布公式推导

最新推荐文章于 2025-01-02 16:56:01 发布

qauzy

最新推荐文章于 2025-01-02 16:56:01 发布

阅读量6.4k

点赞数 1

分类专栏：数学

本文链接：https://blog.csdn.net/idwtwt/article/details/104715897

版权

数学专栏收录该内容

18 篇文章

订阅专栏

1 基本概念准备

1.1 扇形计算公式

$\Delta \sigma = \frac{\Delta \theta r^2}{2}$

1.2 二重积分用极坐标表示

$\Delta \sigma_k =\frac{(r+\Delta r)^2 \Delta \theta - r^2\Delta \theta}{2} = \frac{r \Delta r \Delta \theta+\Delta r^2 \Delta \theta}{2} \approx \frac{r \Delta r \Delta \theta}{2}$ (略去高阶无穷小)

所以 $d\sigma = rdrd\theta$

1.3 一阶矩和二阶矩

一阶矩就是期望值，换句话说就是平均数(离散随机变量很好理解，连续的可以类比一下)。举例：xy坐标系中，x取大于零的整数，y1, y2, ...,yn 对应x=1, 2,..., n的值，现在我要对y求期望，就是所有y累加除以n，也就是y的均值。

此时y的均值我可以在坐标系中画一条线，我会发现所有的点都在这条线的两边。如果是中心矩我就会用每个值减去均值z=yn-y均作为一个新的序列z1, z2, ..., zn，再对z求期望，这时我会发现均值为零(即在坐标轴y上)。一阶矩只有一阶非中心矩，因为一阶中心矩永远等于零。

二阶(非中心)矩就是对变量的平方求期望，二阶中心矩就是对随机变量与均值(期望)的差的平方求期望。为什么要用平方，因为如果序列中有负数就会产生较大波动，而平方运算就好像对序列添加了绝对值，这样更能体现偏离均值的范围。

2 高斯分布公式

2.1 高斯概率密度函数的的积分

令 $I = \int^{+\infty}_{-\infty} e^{\frac{-x ^2}{2\sigma^2}}dx$

则 $I^2 = \int_{-\infty }^{+\infty } e^{-\frac{x ^2+y^2}{2\sigma^2}}dxdy$

用极坐标表示：

$\left \{\begin { matrix} x=rcos\theta \\y =rsin\theta \\ \end{matrix}\right.$

则：

$I^2 =\int ^{2\pi}_{0} \int^{+\infty}_{0}e^-{\frac{r^2}{2\sigma^2}}rdrd\theta = 2\pi\int^{+\infty}_{0}e^{-\frac{u}{2\sigma^2}}\frac{1}{2}du = \pi e^{-\frac{u}{2 \sigma^2}}(-2\sigma^2)|^{\infty}_{0}$

$I^2 = 2\pi\sigma^2$

所以：

$\int^{+\infty }_{-\infty} N(x | \mu, \sigma) dx = \frac{1}{2\pi \sigma^2} 2\pi \sigma^2 = 1$

2.2 高斯分布的期望

$E(x) = \int^{+\infty}_{-\infty} x N(x|\mu,\sigma)dx = \int^{+\infty}_{-\infty} x \frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(\mu -x)^2}{2\pi \sigma^2}}dx$

令 $x = x -\mu$

则：

$E(x) = \int^{+\infty}_{-\infty} x \frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(x)^2}{2\pi \sigma^2}}dx + \int^{+\infty}_{-\infty} \mu \frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(x)^2}{2\pi \sigma^2}}dx$