数学基础--高斯分布

一、简介

 高斯分布是一种重要的模型，也被称作正态分布，其广泛应用与连续型随机变量的分布中。在数据分析领域中高斯分布占有重要地位。掌握高斯分布是学习数据分析的重要基础，下面就结合理论公式和其几何图形来阐述。
 高斯分布会在许多问题中产生。例如，对于一个一元实值向量，使熵取得最大值的是高斯分布；中心极限定理告诉我们：一组随机变量之和的概率分布随着和式中项的数量的增加而逐渐趋向于高斯分布。如果有N个均匀分布在区间$[0,1]$的变量$x_1,x_2,...,x_N$,其均值$\frac{1}{N}{\sum }_{i=1}^{i=N}{x}_i$的分布，对于N很大时，这个分布趋向于高斯分布，当N增大时，其均值的分布如下图（图片来源于：《模式识别与机器学习》）所示。

二 、一元高斯分布

 若随机变量$X$服从均值为$\mu$,方差为${\sigma }^2$的高斯分布，那么：
$$f(x;\mu ,\sigma )=\frac{1}{\sigma (2\pi {)}^{\frac{1}{2}}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
 高斯分布的图形像钟一样，下图展示了一般正态分布的图形。其中$\mu =0,\sigma =1$。

 对于一个非标准的正态分布，可以由标准正态分布经过以下3步变换得到：

1. 将x向右移动u个单位
2. 将密度函数x轴延展sigma倍
3. 将函数密度图像y轴压缩$\sigma$倍

 如果$X$服从分布，$X\sim N(\mu ,{\sigma }^2)$，那么具有以下的性质：

1. 如果$a,b$是实数，那么$aX+b\sim N(a\mu +b,(a\sigma {)}^2)$
2. 如果$Y\sim N({\mu }_y,{\sigma }_y^2)$,$X\sim N({\mu }_x,{\sigma }_x^2)$,且$X,Y$相互独立，那么$X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$,$X-Y\sim N({\mu }_x-{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$
3. 如果$X_1,X_2,...,X_n$为独立标准正态分布，那么 $X_1^2+X_2^2+...+X_n^2$服从自由度为n的卡方分布。

三、多元高斯分布

1、独立多元高斯分布

  假设$n$个变量 x = [ x 1 , x 2 , . . . , x n ] T \boldsymbol{x}=[x_1,x_2,...,x_n]^T x=[x