人工智能数学之高斯分布

0.参考

从高斯分布的导出讲起——为什么概率密度函数长成这个样子？ 作者：蓦风星吟

1.高斯分布的概率密度函数

$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
$N(\mu ,{\sigma }^2)$，$\mu$反应的是位置，$\sigma$反应的是形状。

2.几个概念

2.1 似然（Likelihood）

第一点 什么是似然

简单通俗的来讲就是，一系列的概率密度函数的乘积，说白了也就是还是一种特别的复合的“概率”。比如对于正态分布，如果有独立同分布的观察值$x_1,x_2,\cdots ,x_n$，则其似然为：$$L(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$$

我们也可以看到对于正态分布，这里还依赖于两个参数，就是$\mu$和$\sigma$的二元函数。当然在给其中一个参数的情况下，我们也可以将其看成关于另一个的函数。

第二点 最大似然（Maximum Likelihood）

对于正态这个似然，在给其中一个参数的情况下，我们也可以将其看成关于另一个的函数。因此，在给定一个标准的情况下，那么是不是可以基于观测值对其中的未知参数进行估计呢？这是个非常朴素想法，就好比方程的思想，原本一个函数，给定自变量，那么对应的函数值自然可以计算。反过来，若是给定一定函数值，理论上我们也希望试图找到对应的自变量。这个想法再进一步就是，给定一个标准，比如最大，最小，我们基于这个标准，也试图去寻找对应达到标准 （比如最大，最小函数值）所对应的自变量，这就是参数估计的思想。
回到最大似然发的核心，在这里这个标准就是使得似然函数（关于某一或某一些参数的）最大，然后去估计对应的参数（基于观测值）的值。
至于为什么选择似然函数呢，其实主要也是因为似然函数朴素简单的表达出一种概率，一个基于n次观测的整体的概率，这样的情况下，我们自然朴素的认为或者是希望，似然中包含的合理的参数应该使得我们整体的概率最大的一个或者是一组，因此才被我们观测到。

3.如何基于一些假设导出正态分布

实际的测量中，若$\mu$是分布均值的真实值，当然真实值我们永远不知道，只能希望根据观测值$x_1,x_2,\cdots ,x_n$尽可能的去估计它。首先我们记观察误差$x_i-\mu$的分布密度函数为$p(x_i-\mu )$，然后给出以下假设：

1.$p(x)$关于$x=0$对称，且对于一切$x$成立$p(x)>0$
2.$p(x)$具有连续的导函数

下面来考察这两个假设的合理性

1.首先$p(x)$关于$x=0$对称，这个假设非常合理，因为我们的似然误差分布密度函数为$p(x_i-\mu )$，也就是观测值与真实均值的差，这个自然在左右的可能性一样，不然这个观测试验也就有偏颇了，当然另一个理由就是经验，再说非负性要求，这个也是必须的，概率没有负的。
2.连续的导函数，这个是为了求导方便。

由于我们的观察误差$x_i-\mu$的分布密度函数为$p(x_i-\mu )$，那么此时的似然函数就是：$$L(\mu )=\prod _{i=1}^{n}p(x_i-\mu )$$
实际上，这个似然函数刻画了这组观测值落在真实均值$\mu$
附近的可能性大小。当然此处高斯还给出了一个重要的假设：

观察值的平均值$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$作为未知参数$\mu$的估计值时，使得似然$L(\mu )$最大。

事实上，下面的推导主要还是依赖于这个假设。回头看看这个假设，其实也是符合逻辑和直观感受的，这表明观测的均值作为一个理论均值可以让似然函数最大。

4.高斯分布的导出的具体过程

若$\bar{x}$使得似然函数$L(\mu )$最大，则必要条件就是$\frac{dL(\mu )}{d\mu }{|}_{\mu =\bar{x}}=0$，再加上对数即:$$\frac{d\ln L(\mu )}{d\mu }{|}_{\mu =\bar{x}}=0$$，记$\frac{d\ln p(x)}{dx}=g(x)$，进一步就是$\frac{p^{{}^{\prime }}(x)}{p(x)}=g(x)$，代入到上式得：$$\begin{array}{rl}\frac{d\ln L(\mu )}{d\mu }{|}_{\mu =\bar{x}}& =\frac{d\ln {\prod }_{i=1}^{n}p(x_i-\mu )}{d\mu }{|}_{\mu =\bar{x}}\\ & =\frac{d{\sum }_{i=1}^n\ln p(x_i-\mu )}{d\mu }{|}_{\mu =\bar{x}}\\ & =\sum _{i=1}^n\frac{d\ln p(x_i-\mu )}{d\mu }{|}_{\mu =\bar{x}}\\ & =-\sum _{i=1}^{n}g(x_i-\mu ){|}_{\mu =\bar{x}}\\ & =-\sum _{i=1}^{n}g(x_i-\bar{x})\\ & =0\end{array}$$

我们得到了${\sum }_{i=1}^{n}g(x_i-\bar{x})=0$。

若我们令$n=2$，即得：$$g(x_1-\bar{x})+g(x_2-\bar{x})=0$$，因为$\bar{x}=\frac{x_1+x_2}{2}$，移项得：$x_1-\bar{x}=-(x_2-\bar{x})$，代入上式得：$$g(-(x_2-\bar{x}))+g(x_2-\bar{x})=0$$，又因为$x_1,x_2$是任意的，所以$$g(x)=-g(-x)$$，即$g(x)$是一个中心对称的函数（关于原点对称）。

若我们令令$n=3$，即得：$$g(x_1-\bar{x})+g(x_2-\bar{x})+g(x_3-\bar{x})=0$$，因为$\bar{x}=\frac{x_1+x_2+x_3}{3}$，移项得：$x_1-\bar{x}=-[(x_2-\bar{x})+(x_3-\bar{x})]$，代入上式得：$$g(-[(x_2-\bar{x})+(x_3-\bar{x})])+g(x_2-\bar{x})+g(x_3-\bar{x})=0$$，因为$x_1,x_2,x_3$是任意的，所以$g(-(x+y))+g(x)+g(y)=0$，根据$g(x)$是中心对称函数，化简得：$$g(x+y)=g(x)+g(y)$$，这个也就是柯西方程，这类方程在有理数范围内，可以得到唯一的通解$g(x)=bx$。

4.1 补充：柯西方程的推导

首先对于$x\in N^{+}$，
令$x=y=1$，即得：$$g(2)=2g(1)$$
令$x=1,y=2$，即得：$$g(3)=g(1)+g(2)=3g(1)$$
$\cdots$
同理：$g(n)=ng(1)$，即在正整数域中，成立。
推广到一般有理数：
令$x=y=\frac{q}{p}$，其中$q,p\in \mathbb{Z}$，即得：$$g(\frac{2q}{p})=2g(\frac{q}{p})$$
令$x=\frac{q}{p},y=\frac{2q}{p}$，即得：$$g(\frac{3q}{p})=g(\frac{q}{p})+g(\frac{2q}{p})=3g(\frac{q}{p})$$
$\cdots$
同理：$g(\frac{p\cdot q}{p})=p\cdot g(\frac{q}{p})$，进一步化简：$p\cdot g(\frac{q}{p})=g(q\cdot 1)=q\cdot g(1)$，移项得：$g(\frac{q}{p})=\frac{q}{p}\cdot g(1)$，证毕。

回到之前，因为$g(x)=bx,\frac{p^{{}^{\prime }}(x)}{p(x)}=g(x)$得：$\frac{p^{{}^{\prime }}(x)}{p(x)}=bx$，解一下简单的微分方程得：$$p(x)=C\cdot e^{\frac{b}{2}{x}^2}，-\infty <x<+\infty$$，因为$p(x)$是概率密度函数，所以$b<0$，我们记$b=-\frac{1}{{\sigma }^2}$，使所以：$$p(x)=C\cdot e^{-\frac{x^2}{2{\sigma }^2}}，-\infty <x<+\infty$$，
因为概率密度函数在可行范围内积分为$1$，即：$$\begin{array}{rl}& {\int }_{-\infty }^{+\infty }C\cdot e^{-\frac{x^2}{2{\sigma }^2}}dx=1\\ \to & C\cdot {\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\sigma }^2}}dx=1\\ \to & {\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\sigma }^2}}dx=\frac{1}{C}\\ \to & {\int }_{-\infty }^{+\infty }{e}^{-\frac{x^2}{2{\sigma }^2}}dx{\int }_{-\infty }^{+\infty }{e}^{-\frac{y^2}{2{\sigma }^2}}dy=\frac{1}{C^2}\\ \to & {\iint }_D{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}dxdy=\frac{1}{C^2}\\ \to & 4{\int }_0^{\frac{\pi }{2}}d\theta {\int }_0^{+\infty }{e}^{-\frac{r^2}{2{\sigma }^2}}rdr=\frac{1}{C^2}\\ \to & -4{\sigma }^2{\int }_0^{\frac{\pi }{2}}{e}^{-\frac{r^2}{2{\sigma }^2}}{|}_0^{+\infty }d\theta =\frac{1}{C^2}\\ \to & -4{\sigma }^2{\int }_0^{\frac{\pi }{2}}-1d\theta =\frac{1}{C^2}\\ \to & 2\pi {\sigma }^2=\frac{1}{C^2}\\ \to & C=\frac{1}{\sqrt{2\pi {\sigma }^2}}\end{array}$$，
最终我们推导出：$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{x^2}{2{\sigma }^2}}$$，一般形式就为：$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

5.高斯分布的性质

首先，对于一个分布，我们最关心的是什么？
没错，是密度分布函数（Probability density function，pdf），所以密度函数当然我们已经得到了$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，那么之后想必是累计密度函数（Cumulative distribution function，cdf)，顾名思义，所谓cdf就是对pdf的累计，从图上讲也就是在pdf的图上从负无穷到正无穷的积分过程，对于高斯分布来讲：$$\begin{array}{rl}c(x)& =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt\\ & =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\infty }^x\exp \left(-(\frac{t-\mu }{\sqrt{2}\sigma }{)}^2\right)dt\\ & =\frac{1}{\sqrt{2\pi {\sigma }^2}}\left[{\int }_{-\infty }^0\exp \left(-(\frac{t-\mu }{\sqrt{2}\sigma }{)}^2\right)dt+{\int }_0^x\exp \left(-(\frac{t-\mu }{\sqrt{2}\sigma }{)}^2\right)dt\right]\\ & =\frac{1}{2}+\frac{1}{2}\cdot \frac{2}{\sqrt{\pi }}\cdot {\int }_0^x\exp \left(-(\frac{t-\mu }{\sqrt{2}\sigma }{)}^2\right)d(\frac{t-\mu }{\sqrt{2}\sigma })\\ & =\frac{1}{2}[1+\frac{1}{2}erf(\frac{x-\mu }{\sqrt{2}\sigma })]\end{array}$$
这里erf是指Gauss error function即：$\frac{2}{\sqrt{\pi }}{\int }_{-x}^{x}exp(-t^2)dt$，若是把cdf放在图中也就是下面这个：

5.1 期望，方差

从某种意义上说，我们所认识的世界，我们定量认知下的世界，就是由均值和方差所构成的。对于高斯分布，恰好就是由这两个因素唯一决定的，换言之，确定了一个均值和方差，我们是确定了一个高斯分布，反之，若是确定了一个高斯分布，那么它的均值和方差也是唯一确定的。因此，随机变量X服从以均值$\mu$和方差${\sigma }^2$的高斯分布可以记为$X\sim N(\mu ,{\sigma }^2)$

5.2 对称性

高斯分布它正是个对称的分布。
因为对称，各种计算都可以简化为算一半；
因为对称，那么所谓的均值就会在pdf的对称轴，当然对于高斯分布，统计学中的中位数，众数都是对称轴。
对于一个高斯分布，想要概率最大，只需要取到均值即可。

5.3 密度函数无限可微

直观来看这个密度函数自然是非常光滑，没有任何的间断点和尖点，从表达式看，核心的原因就是指数函数的优良性质都赋予的。

5.4 尾端效应

假定一个随机变量$X\sim N(\mu ,{\sigma }^2)$，那么该变量出现在均值加减一倍的标准差的范围的概率有68.27%，而该变量出现在均值加减两倍的标准差的范围的概率就可以达到95.45%。
没错，就是那个就置信区间的东西，95%的置信区间，而这个对应的95%的概率的就是2倍不到一点（1.96倍）的标准差，即该变量出现在均值加减1.96倍的标准差的范围的概率就可以一达到95%。
因为在很多的应用中，我们经常会均值加减2（或更精确是1.96）倍的标准差的范围去近似事件出现的范围，因为此时的概率已然到达了95%，属于大概率发生的。想要继续精确，那么该变量出现在均值加减3倍的标准差的范围的概率就可以直接达到99.73%。换言之，只有0.27%的概率发生这个区间外的意外，因此对于一个高斯分布的变量，其实3倍的标准差就已经毫无疑问的包含了一个大概率的置信区间。

5.4 独立随机变量的"和差积商"

两个满足独立高斯分布的随机变量的和与差都仍然是高斯分布，并且我们可以发现，和的均值是均值的和，差是均值是均值的差。

乘积的分布不再是高斯分布了，虽然mean仍然可以说是等于各自均值的乘积，然而variance却没有了明显的结论了。

需要强调的另一点是：两个独立高斯分布的随机变量的乘积不是高斯分布，但是两个高斯密度函数的乘积仍然可以做成一个高斯的密度函数。$X\sim N({\mu }_x,{\sigma }_x^2)$，这里${\mu }_x=({\sigma }_1^{-2}+{\sigma }_2^{-2}{)}^{-1}({\sigma }_1^{-2}{\mu }_1+{\sigma }_2^{-2}{\mu }_2),{\sigma }_x^2=({\sigma }_1^{-2}+{\sigma }_2^{-2}{)}^{-1}$

5.5共轭分布的封闭性

这一点其实也是在贝叶斯统计下的非常有意义的一点

5.5.1 什么是共轭分布

对于先验分布和后验分布属于同类别的分布，则先验与后验称为共轭分布，而先验分布被称为似然函数的共轭先验。
直白的说似然函数就是那个给定N个观测点然后代入概率密度函数的乘积，$P(X|\theta )$，这里的$X$可是$N$个观测点的所有，$\theta$指的是所有分布中的参数。
先验分布和后验分布是同一个分布，或者说先验分布的后验就是其自身（也就是所谓的自共轭）没错，对于高斯分布，它的共轭分布就是它自己！这也就是所谓的封闭性（当然这里的封闭是强封闭，不仅限于类，而封闭在具体的分布上）。
回到刚才说的，若是先验是高斯的，外加似然是高斯似然（当然若是给定N个独立的观测值，每个假定服从高斯分布，那么N高斯分布的密度函数的乘积也必定是高斯分布），那么所谓的后验分布是不是也是高斯的。

封闭性有什么好处呢？这个一时半会我还真说不上有什么好，但是很重要那是肯定的。回忆一下一些近世代数的知识，什么？没有学过？好吧，那举个简单的例子，比如有理数与加法运算，想想，无论如何一个有理数加一个有理数总还是一个有理数吧？但是如果是针对有理数和开根号运算，那么结果可就不一定喽！这就是所谓的封闭性，有理数对于加法是封闭的，而对于开根号运算就不是。当然，这里就大致就可以看出封闭性的优势，就是至少可以保证集合中的元素经过运算后仍然在集合中哦！

因此，对于高斯分布，由于这个重重重要的封闭性，极大的加快了贝叶斯推断，因为后验分布可以直接根据先验和似然的表达，直接得到后验的具体显示解析表达式，在数学上，一旦有了显示的解析表达式，也就意味着万事大吉啊！

从另一个角度来看，还可以得出其他结论。首先我们回忆一下全概率公式：$$P(A)=\sum _{n}P(A|B_n)P(B_n)$$，其中$P$是概率
至于它的用处么，即可以将对一复杂事件A的概率求解问题转化为了在不同情况或不同原因 Bn下发生的简单事件的概率的求和问题。当然这个是我们所熟知的离散形式，若是连续呢？$$p(x)={\int }_{w}p(x|w)p(w)dw$$，其中$p$为概率密度。
统一起来就是$$P(A)=\mathbb{E}[P(A|B)]$$，所以，A的先验概率可以表示为A的后验概率的期望。

对于高斯分布，给定高斯随机变量$B$，以及$A$在$B$的条件高斯分布，则我们也可以保证$A$的先验分布仍是高斯分布，举个简单例子，$p(A|B)=N(B,1),p(B)=N(0,1)$，则$$\begin{array}{rl}p(A)& =\int p(A|B)p(B)dw\\ & =\int N(w,1)N(0,1)dw\\ & \propto \int exp(-\frac{(x-w{)}^2}{2})exp(-\frac{x^2}{2})dw\\ & \propto exp(-\frac{x^2}{4})\end{array}$$