数学基础--高斯分布

一、简介

 高斯分布是一种重要的模型，也被称作正态分布，其广泛应用与连续型随机变量的分布中。在数据分析领域中高斯分布占有重要地位。掌握高斯分布是学习数据分析的重要基础，下面就结合理论公式和其几何图形来阐述。
 高斯分布会在许多问题中产生。例如，对于一个一元实值向量，使熵取得最大值的是高斯分布；中心极限定理告诉我们：一组随机变量之和的概率分布随着和式中项的数量的增加而逐渐趋向于高斯分布。如果有N个均匀分布在区间$[0,1]$的变量$x_1,x_2,...,x_N$,其均值$\frac{1}{N}{\sum }_{i=1}^{i=N}{x}_i$的分布，对于N很大时，这个分布趋向于高斯分布，当N增大时，其均值的分布如下图（图片来源于：《模式识别与机器学习》）所示。

二 、一元高斯分布

 若随机变量$X$服从均值为$\mu$,方差为${\sigma }^2$的高斯分布，那么：
$$f(x;\mu ,\sigma )=\frac{1}{\sigma (2\pi {)}^{\frac{1}{2}}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
 高斯分布的图形像钟一样，下图展示了一般正态分布的图形。其中$\mu =0,\sigma =1$。

 对于一个非标准的正态分布，可以由标准正态分布经过以下3步变换得到：

1. 将x向右移动u个单位
2. 将密度函数x轴延展sigma倍
3. 将函数密度图像y轴压缩$\sigma$倍

 如果$X$服从分布，$X\sim N(\mu ,{\sigma }^2)$，那么具有以下的性质：

1. 如果$a,b$是实数，那么$aX+b\sim N(a\mu +b,(a\sigma {)}^2)$
2. 如果$Y\sim N({\mu }_y,{\sigma }_y^2)$,$X\sim N({\mu }_x,{\sigma }_x^2)$,且$X,Y$相互独立，那么$X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$,$X-Y\sim N({\mu }_x-{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$
3. 如果$X_1,X_2,...,X_n$为独立标准正态分布，那么 $X_1^2+X_2^2+...+X_n^2$服从自由度为n的卡方分布。

三、多元高斯分布

1、独立多元高斯分布

  假设$n$个变量$\mathbf{x}=[x_1,x_2,...,x_n{]}^T$相互独立,且服从高斯分布，各个维度的均值$E(\mathbf{x})=[u_1,u_2,...,u_n{]}^T$ ,方差$\sigma (\mathbf{x})=[{\sigma }_1,{\sigma }_2,...,{\sigma }_n{]}^T$,根据联合概率密度公式有：
$$f(\mathbf{x})=p(x_1,x_2,...,x_n)=p(x_1)p(x_2)...p(x_n)=\frac{1}{(\sqrt{2\pi }{)}^n{\sigma }_1{\sigma }_2...{\sigma }_n}{e}^{-\frac{(x_1-u_1{)}^2}{2{\sigma }_1^2}-\frac{(x_2-u_2{)}^2}{2{\sigma }_2^2}...-\frac{(x_n-u_n{)}^2}{2{\sigma }_n^2}}$$
  如果我们令：
$$z^2=\frac{(x_1-u_1{)}^2}{2{\sigma }_1^2}+\frac{(x_2-u_2{)}^2}{2{\sigma }_2^2}...+\frac{(x_n-u_n{)}^2}{2{\sigma }_n^2},{\sigma }_z={\sigma }_1{\sigma }_2...{\sigma }_n$$
  我们有：
$$f(z)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }_z}{e}^{-z^2}$$
  使用矩阵的形式来表示的话，则有：
$$z^2=[x_1-u_1,x_2-u_2,...,x_n-u_n]\left[\begin{array}{ccccc}{\sigma }_1^{-2}& 0& 0& ...& 0\\ 0& {\sigma }_2^{-2}& 0& ...& 0\\ .& .& .& ...& .\\ .& .& .& ...& .\\ .& .& .& ...& .\\ 0& 0& 0& ...& {\sigma }_n^{-2}\end{array}\right][x_1-u_1,x_2-u_2,...,x_n-u_n{]}^T$$
  定义符号：
$$\mathbf{x}-{\mathbf{u}}_{\mathbf{x}}=[x_1-u_1,x_2-u_2,...,x_n-u_n{]}^T$$

$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}{\sigma }_1^2& 0& 0& ...& 0\\ 0& {\sigma }_2^2& 0& ...& 0\\ .& .& .& ...& .\\ .& .& .& ...& .\\ .& .& .& ...& .\\ 0& 0& 0& ...& {\sigma }_n^2\end{array}\right]$$
$${\sigma }_z=|\mathbf{\Sigma }{|}^{\frac{1}{2}}$$

  变量代换可得：
$$f(z)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }_z}{e}^{-z^2}=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{(\mathbf{x}-{\mathbf{u}}_{\mathbf{x}}{)}^{\mathbf{T}}(\mathbf{\Sigma }{)}^{-1}(\mathbf{x}-{\mathbf{u}}_{\mathbf{x}})}$$
下面以$\mathbf{x}=[x_1,x_2]$ 为例，画出二元高斯分布在变量之间相互独立的图像：

1.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 0\\ 0& 5\end{array}\right]$时：

   

2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$时：

   
   

3.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 0\\ 0& 1\end{array}\right]$时：

   

4. 2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 0\\ 0& 5\end{array}\right]$时：

 由上图可以看出，当变量之间相互独立的时候：

1. 当协方差矩阵的特征值越小时，分布函数图像越高越尖。
2. 当协方差矩阵的特征值相等时，分布函数图像在X1，X2面上的投影是圆形的。当特征值不相等时，分布函数图像在X1，X2面上的投影是椭圆形的，X1，X2相互独立时，椭圆的长轴和短轴平行与坐标轴。且变量对应的特征值越大，该变量分布的范围越分散，在二元高斯分布中，对应特征值大的变量在函数投影图像中对应的是椭圆的长轴。高维的高斯分布情况可以按照这个规律进行推广。

2、多元相关变量高斯分布

 当变量之间存在相关关系的时候，协方差矩阵不再是对角阵，而是一个对称的矩阵，矩阵的每个元素${\sigma }_{ij}^2$表示变量$i,j$的协方差。

1.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 1\\ 1& 1\end{array}\right]$时：
2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]$时：

 从上面2个图像中可以看出，变量之间具有相关关系时，与变量之间相互独立最大的区别是，投影面的椭圆长短轴不再平行与坐标轴。
&emsp；如果我们将坐标轴X1，X2旋转一下，与椭圆的长短轴平行，如下图所示：

 由独立变量的二元高斯分布知，那么在新的坐标系下，$x_1^{\prime },x_2^{\prime }$是相互独立的。上述过程称作为去相关性，这也是经典的降维方法主成分分析PCA的基础。以下是新坐标系的求解和原坐标系上的点在新坐标系下的坐标数学表达。
 根据协方差矩阵的特征方程求解协方差矩阵的单位正交特征向量（先求出特征向量，再进行正交化与单位化）,
$$\mathbf{\Sigma }{u}_i={\lambda }_i{\mu }_i$$
  假设上式中${\mu }_i=[u_{i1},u_{i2}{]}^T$已经被单位正交化，以二维高斯分布为例
$$\mathbf{U}=\left[\begin{array}{cc}{u}_{11}& u_{21}\\ u_{12}& u_{22}\end{array}\right]$$
 新坐标系的坐标轴为${\mu }_1=[u_{11},u_{12}{]}^T$，${\mu }_2=[u_{21},u_{22}{]}^T$
 新坐标系下，原坐标下下点的坐标为：
$$\left[\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\end{array}\right]=\mathbf{U}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}{u}_{11}& u_{21}\\ u_{12}& u_{22}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$
此时$x_1^{\prime },x_2^{\prime }$之间没有相关关系。