【机器学习基础】概率分布之高斯分布

本系列为《模式识别与机器学习》的读书笔记。

一，多元高斯分布

考虑⾼斯分布的⼏何形式，⾼斯对于 $\mathbf{x}$ 的依赖是通过下⾯形式的⼆次型：
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\text{\hspace{1em}(2.30)}$$
其中，$\Delta$ 被叫做 $\mathbf{\mu }$ 和 $\mathbf{x}$ 之间的马⽒距离（Mahalanobis distance）。 当 $\mathbf{\Sigma }$ 是单位矩阵时，就变成了欧式距离。对于 $\mathbf{x}$ 空间中这个⼆次型是常数的曲⾯，⾼斯分布也是常数。

现在考虑协⽅差矩阵的特征向量⽅程：
$$\mathbf{\Sigma }{\mathbf{\mu }}_i={\lambda }_i{\mathbf{\mu }}_i\text{\hspace{1em}(2.31)}$$
其中 $i=1,\dots ,D$。由于 $\mathbf{\Sigma }$ 是实对称矩阵，因此它的特征值也是实数，并且特征向量可以被选成单位正交的，即：
$${\mathbf{\mu }}_i^T{\mathbf{\mu }}_j=I_{ij}\text{\hspace{1em}(2.32)}$$

其中 $I_{ij}$ 是单位矩阵的第 $i,j$ 个元素，满⾜：
$$I_{ij}=\{\begin{array}{l}1，如果i=j\\ 0，其他情况\end{array}\text{\hspace{1em}(2.33)}$$
协⽅差矩阵 $\mathbf{\Sigma }$ 可以表⽰成特征向量的展开的形式：
$$\mathbf{\Sigma }=\sum _{i=1}^D{\lambda }_i{\mathbf{\mu }}_i{\mathbf{\mu }}_i^T\text{\hspace{1em}(2.34)}$$
协⽅差矩阵的逆矩阵 ${\mathbf{\Sigma }}^{-1}$ 可以表⽰成特征向量的展开的形式：
$${\mathbf{\Sigma }}^{-1}=\sum _{i=1}^D\frac{1}{{\lambda }_i}{\mathbf{\mu }}_i{\mathbf{\mu }}_i^T\text{\hspace{1em}(2.35)}$$
⼆次型公式(2.30)即可表示为：
$${\Delta }^2=\sum _{i=1}^D\frac{y_i^2}{{\lambda }_i}\text{\hspace{1em}(2.36)}$$
其中，$y_i^2={\mathbf{u}}_{\mathbf{i}}^{\mathbf{T}}(\mathbf{x}-\mathbf{\mu })$ 。

把 { y i } \{y_i\} { yi​} 表⽰成单位正交向量 ${\mathbf{\mu }}_{\mathbf{i}}$ 关于原始的 $x_i$ 坐标经过平移和旋转后形成的新的坐标系。定义向量 $\mathbf{y}=(y_1,\dots ,y_D{)}^T$ ，即有：
$$\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathbf{\mu })\text{\hspace{1em}(2.37)}$$
其中 $\mathbf{U}$ 是⼀个矩阵，它的⾏是向量 ${\mathbf{u}}_i^T$ 。从公式(2.32)可以看出 $\mathbf{U}$ 是⼀个正交矩阵， 即它满⾜性质 $\mathbf{U}{\mathbf{U}}^T=\mathbf{I}$ ，因此也满⾜ ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$ ，其中 $\mathbf{I}$ 是单位矩阵。

⼀个特征值严格⼤于零的矩阵被称为正定（positive definite）矩阵。偶尔遇到⼀个或者多个特征值为零的⾼斯分布，那种情况下分布是奇异的，被限制在 了⼀个低维的⼦空间中。如果所有的特征值都是⾮负的，那么这个矩阵被称为半正定（positive semidefine）矩阵。

如图2.12，红⾊曲线表⽰⼆维空间 $\mathbf{x}=(x_1,x_2)$ 的⾼斯分布的常数概率密度的椭圆⾯， 它表⽰的概率密度为 $\exp (-\frac{1}{2})$，值是在 $\mathbf{x}=\mathbf{\mu }$ 处计算的。椭圆的轴由协⽅差矩阵的特征向量 ${\mu }_i$ 定义，对应的特征值为 ${\lambda }_i$ 。

现在考虑在由 $y_i$ 定义的新坐标系下⾼斯分布的形式。 从 $\mathbf{x}$ 坐标系到 $\mathbf{y}$ 坐标系， 我们有⼀ 个 Jacobian矩阵 $\mathbf{J}$ ，它的元素为：
$${\mathbf{J}}_{ij}=\frac{\partial x_i}{\partial j_j}=U_{ij}\text{\hspace{1em}(2.38)}$$

其中 $U_{ji}$ 是矩阵 ${\mathbf{U}}^T$ 的元素。使⽤矩阵 $\mathbf{U}$ 的单位正交性质，我们看到 Jacobian矩阵 ⾏列式的平⽅为：
$$|{\mathbf{J}}^2|=|{\mathbf{U}}^T{|}^2=|{\mathbf{U}}^T||\mathbf{U}|=|{\mathbf{U}}^T\mathbf{U}|=|\mathbf{I}|=1\text{\hspace{1em}(2.39)}$$
从而可知，$|\mathbf{J}|=1$ ，并且，⾏列式 $|\mathbf{\Sigma }|$ 的协⽅差矩阵可以写成特征值的乘积，因此：
$$|\mathbf{\Sigma }{|}^{\frac{1}{2}}=\prod _{j=1}^D{\lambda }_j^{\frac{1}{2}}\text{\hspace{1em}(2.40)}$$
因此在 $\mathbf{y}$ 坐标系中，⾼斯分布的形式为：
$$p(\mathbf{y})=p(\mathbf{x})|\mathbf{J}|=\prod _{j=1}^D\frac{1}{(2\pi {\lambda }_j{)}^{\frac{1}{2}}}\exp \left\{-\frac{y_i^2}{2{\lambda }_j}\right\}\text{\hspace{1em}(2.41)}$$

这是 $D$ 个独⽴⼀元⾼斯分布的乘积。

在 $\mathbf{y}$ 坐标系中，概率分布的积分为：
$$\int p(\mathbf{y})\mathrm{d}\mathbf{y}=\prod _{j=1}^D{\int }_{-\infty }^{\infty }\frac{1}{(2\pi {\lambda }_j{)}^{\frac{1}{2}}}\exp \left\{-\frac{y_i^2}{2{\lambda }_j}\right\}\mathrm{d}{y}_j=1\text{\hspace{1em}(2.42)}$$
⾼斯分布下 $\mathbf{x}$ 的期望为：
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}]& =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}\mathbf{x}\mathrm{d}\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}{\mathbf{z}}^T{\mathbf{\Sigma }}^{-1}\mathbf{z}\right\}(\mathbf{z}+\mathbf{\mu })\mathrm{d}\mathbf{z}\end{array}\text{\hspace{1em}(2.43)}$$
其中，$\mathbf{z}=\mathbf{x}-\mathbf{\mu }$ 。注意到指数位置是 $\mathbf{z}$ 的偶函数，并且由于积分区间为 $(-\infty ,\infty )$，因此在因⼦ $(\mathbf{z}+\mathbf{\mu })$ 中的 $\mathbf{z}$ 中的项会由于对称性变为零。因此 $\mathbb{E}[\mathbf{x}]=\mathbf{\mu }$ 。称 $\mathbf{\mu }$ 为⾼斯分布的均值。

现在考虑⾼斯分布的⼆阶矩。对于多元⾼斯分布，有 $D^2$ 个由 $\mathbb{E}[x_i{x}_j]$ 给出的⼆阶矩，可以聚集在⼀起组成矩阵 $\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]$。
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]& =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}\mathbf{x}{\mathbf{x}}^T\mathrm{d}\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}{\mathbf{z}}^T{\mathbf{\Sigma }}^{-1}\mathbf{z}\right\}(\mathbf{z}+\mathbf{\mu })(\mathbf{z}+\mathbf{\mu }{)}^T\mathrm{d}\mathbf{z}\end{array}\text{\hspace{1em}(2.44)}$$
其中，$\mathbf{z}=\mathbf{x}-\mathbf{\mu }$ ，