高斯分布的积分期望E(X)方差V(X)的理论推导

---

本文主要推导高斯分布（正态分布）的积分，期望E(X)和方差V(X)。

其中主要是方差V(X)的推导，本文介绍3种高斯方差的推导方法。

高斯分布的概率密度函数：
$$f(x)=\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}\text{\hspace{1em}(1)}$$

---

高斯分布的概率分布函数（归一化）：
$$\begin{array}{rl}F& ={\int }_{-\infty }^{+\infty }f(x)dx={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}dx\\ & \\ & =\frac{1}{\sqrt{2\pi }\delta }{\int }_{-\infty }^{+\infty }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}d(x-u)\\ & \\ & =\frac{1}{\sqrt{2\pi }\delta }{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\delta }^2}}dx\end{array}\text{\hspace{1em}(2)}$$

概率密度函数的积分为$F(x)=1$，如下开始证明。这里直接计算$F(x)$比较困难，但可以利用双重积分转极坐标计算体积的方式计算$F(x{)}^2$，如下
$$\begin{array}{rl}{F}^2& =\frac{1}{\sqrt{2\pi }\delta }{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\delta }^2}}dx\frac{1}{\sqrt{2\pi }\delta }{\int }_{-\infty }^{+\infty }{e}^{-\frac{y^2}{2{\delta }^2}}dy\\ & \\ & =\frac{1}{2\pi {\delta }^2}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2+y^2}{2{\delta }^2}}dxdy\end{array}\text{\hspace{1em}(3)}$$

令 $x=r\sin \theta$ , $y=r\cos \theta$ , 坐标系转换到极坐标系就行积分
$$\begin{array}{rl}{F}^2& =\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }{\int }_0^{+\infty }{e}^{-\frac{r^2}{2{\delta }^2}}rdrd\theta \\ & \\ & =\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }d\theta {\int }_0^{+\infty }{e}^{-\frac{r^2}{2{\delta }^2}}rdr\\ & \\ & =\frac{1}{{\delta }^2}{\int }_0^{+\infty }{e}^{-\frac{r^2}{2{\delta }^2}}rdr\\ & \\ & ={\int }_0^{+\infty }{e}^{-\frac{r^2}{2{\delta }^2}}d(\frac{r^2}{2{\delta }^2})\\ & \\ & ={\int }_0^{+\infty }{e}^{-m}dm\\ & \\ & =1\end{array}\text{\hspace{1em}(4)}$$

即可证明得：
$$F={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}dx=1\text{\hspace{1em}(5)}$$

注：这里可以由 $F^2=1$ 看出，$F$为一个2维正态分布，其在二维空间中体积为1

---

高斯分布的期望 $E(x)=u$ 证明：
$$\begin{array}{rl}E(x)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}xdx\\ & \\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}(x+u)dx\\ & \\ & =\underset{0}{\underbrace{{\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}xdx}}+u\underset{1}{\underbrace{{\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}dx}}\\ & \\ & =u\end{array}\text{\hspace{1em}(6)}$$

由于 ${\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}xdx$ 为奇函数，积分为0，因此可得高斯分布的期望： $E(x)=u$

---

高斯分布的方差 $V(x)={\delta }^2$ 证明，根据方差定义为误差平方的期望：
$$\begin{array}{rl}V& ={\int }_{-\infty }^{+\infty }(x-u{)}^{2}f(x)dx\\ & \\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}(x-u{)}^{2}dx\\ & \\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}{x}^{2}dx\end{array}\text{\hspace{1em}(7)}$$

如下介绍3种推导方法，第一种最为复杂的推导，先计算 $V^2$
$$\begin{array}{rl}{V}^2& ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}{x}^{2}dx{\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{y^2}{2{\delta }^2}}{y}^{2}dy\\ & \\ & =\frac{1}{2\pi {\delta }^2}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2+y^2}{2{\delta }^2}}{x}^2{y}^{2}dxdy\end{array}\text{\hspace{1em}(8)}$$

令 $x=r\sin \theta$ , $y=r\cos \theta$
$$\begin{array}{rl}{V}^2& =\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }{\int }_0^{+\infty }{r}^4{\sin }^2\theta {\cos }^2\theta e^{-\frac{r^2}{2{\delta }^2}}rdrd\theta \\ & \\ & =\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }{\sin }^2\theta {\cos }^2\theta d\theta {\int }_0^{+\infty }{r}^5{e}^{-\frac{r^2}{2{\delta }^2}}dr\end{array}\text{\hspace{1em}(9)}$$

上面两部分可分开计算，首先计算左边关于 $\theta$ 的积分，由于 ${\sin }^2\theta =\frac{1-\cos 2\theta }{2}$ ：
$$\begin{array}{rl}{\int }_0^{2\pi }{\sin }^2\theta {\cos }^2\theta d\theta & =\frac{1}{4}{\int }_0^{2\pi }{\sin }^{2}2\theta d\theta \\ & \\ & =\frac{1}{4}{\int }_0^{2\pi }\frac{1-\cos 4\theta }{2}d\theta \\ & \\ & =\frac{1}{8}{\int }_0^{2\pi }d\theta -\frac{1}{8}{\int }_0^{2\pi }\cos 4\theta d\theta \\ & \\ & =\frac{\pi }{4}-\frac{1}{32}{\int }_0^{8\pi }\cos \theta d\theta \\ & \\ & =\frac{\pi }{4}\end{array}\text{\hspace{1em}(10)}$$

计算右边关于 $r$ 的积分，设 $m=r^2$
$$\begin{array}{rl}{\int }_0^{+\infty }{r}^5{e}^{-\frac{r^2}{2{\delta }^2}}dr& =\frac{1}{2}{\int }_0^{+\infty }{m}^2{e}^{-\frac{m}{2{\delta }^2}}dm\\ & \\ & =-{\delta }^2{\int }_0^{+\infty }{m}^{2}d(e^{-\frac{m}{2{\delta }^2}})\\ & \\ & =-{\delta }^2(m^2{e}^{-\frac{m}{2{\delta }^2}}{|}_0^{+\infty }-{\int }_0^{+\infty }{e}^{-\frac{m}{2{\delta }^2}}d(m^2))\\ & \\ \underset{m\to +\infty }{\lim }{m}^2{e}^{-\frac{m}{2{\delta }^2}}=0⟶& =2{\delta }^2{\int }_0^{+\infty }m{e}^{-\frac{m}{2{\delta }^2}}dm\\ & \\ & =-4{\delta }^4{\int }_0^{+\infty }md(e^{-\frac{m}{2{\delta }^2}})\\ & \\ & =-4{\delta }^4(m{e}^{-\frac{m}{2{\delta }^2}}{|}_0^{+\infty }-{\int }_0^{+\infty }{e}^{-\frac{m}{2{\delta }^2}}dm)\\ & \\ \underset{m\to +\infty }{\lim }m{e}^{-\frac{m}{2{\delta }^2}}=0⟶& =4{\delta }^4{\int }_0^{+\infty }{e}^{-\frac{m}{2{\delta }^2}}dm\\ & \\ & =8{\delta }^6\end{array}\text{\hspace{1em}(11)}$$

因此
$$\begin{array}{rl}{V}^2& =\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }{\sin }^2\theta {\cos }^2\theta d\theta \cdot {\int }_0^{+\infty }{r}^5{e}^{-\frac{r^2}{2{\delta }^2}}rdr\\ & \\ & =\frac{1}{2\pi {\delta }^2}\cdot \frac{\pi }{4}\cdot 8{\delta }^6\\ & \\ & ={\delta }^4\end{array}\text{\hspace{1em}(12)}$$

所以 $V={\delta }^2$，即证。

如下介绍第二种较为巧妙的推导：
$$\begin{array}{rl}V& ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}(x-u{)}^{2}dx\\ & \\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{x^2}{2{\delta }^2}}{x}^{2}dx\\ & \\ & =-\frac{\delta }{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }xd\left(e^{-\frac{x^2}{2{\delta }^2}}\right)\\ & \\ & =-\frac{\delta }{\sqrt{2\pi }}(\underset{0}{\underbrace{x{e}^{-\frac{x^2}{2{\delta }^2}}{|}_{-\infty }^{+\infty }}}-{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\delta }^2}}dx)\\ & \\ & =\frac{\delta }{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\delta }^2}}dx\\ & \\ & ={\delta }^2\cdot \frac{1}{\sqrt{2\pi }\delta }{\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\delta }^2}}dx\\ & \\ & ={\delta }^2\end{array}\text{\hspace{1em}(13)}$$

第三种证明方法则利用方差特性：
$$\begin{array}{rl}V(x)& =E((x-E(x){)}^2)\\ & \\ & =E(x^2-2xE(x)+E^2(x))\\ & \\ & =E(x^2)-2E(x)E(x)+E^2(x)\\ & \\ & =E(x^2)-E^2(x)\\ & \\ & =E(x^2)-u^2\end{array}\text{\hspace{1em}(14)}$$

这里只需再求取 $E(x^2)$ 即可

期望 $E(x)$ 的另一个叫法是分布函数的 一阶矩 ，而 $E(x^2)$ 也叫 二阶矩，这里就是求概率分布的二阶矩

$$E(x^2)={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-u{)}^2}{2{\delta }^2}}{x}^{2}dx\text{\hspace{1em}(15)}$$

参考第二种证明的方法，可以比较快速的得到：

$$E(x^2)={\delta }^2+u^2\text{\hspace{1em}(16)}$$

从而可得 $V(x)=E(x^2)-u^2={\delta }^2$ , 即证明。

感悟：三种方法证明完成，最近在看《概率机器人》，里面所有理论基础都是概率贝叶斯，索性重新推导了高斯分布，发现高斯分布真是一个伟大的发现，用一个如此优雅的曲线描绘这个世界的创造规律，从而让所有的不确定性可以被估计和优化，打开了人类与上帝对话的一个窗口，窥探上帝的造物规律。

参考文献：

https://blog.csdn.net/qq_37549266/article/details/95942282
https://www.zhihu.com/question/23971601