MLAPP————第四章高斯模型

最新推荐文章于 2024-09-12 11:20:46 发布

QQQiZZZ

最新推荐文章于 2024-09-12 11:20:46 发布

阅读量2.6k

点赞数 3

分类专栏： mlapp 文章标签： mlapp

本文链接：https://blog.csdn.net/marmove/article/details/81287683

版权

本文深入探讨了高斯模型，包括多变量高斯分布的基础知识、高斯判别分析（GDA）及其不同变体，如线性判别分析（LDA）和二次判别分析（QDA）。文章详细阐述了最大似然估计、防止过拟合的技巧，并介绍了正则化的LDA。此外，还讲解了线性高斯系统、wishart分布及其在高斯分布参数推断中的应用。通过对高斯模型的深入理解和应用，有助于读者掌握机器学习中的分类和概率估计方法。

摘要由CSDN通过智能技术生成

第四章高斯模型

4.1 介绍

本章主要开始介绍多变量的高斯模型或者叫做多变量的正态模型(MVN)，在整本书中，可以说这个模型是非常常见的。这一章的数学的要求是比较高的，涉及到很多的线性代数和矩阵运算。我会尽量把我会的一些计算过程详细的写出来，因为书中有些计算过程可能作者看上去比较的简单，但是我们看的时候还是会比较吃力。

4.1.1 符号

符号这里就不翻译了。都是很常规的，与平时见到的都一样。

4.1.2 基础

多元高斯分布的pdf：，指数上的那一块，我们称之为 $\mathbf x$ 和 $\boldsymbol\mu$ 之间的马氏距离（Mahalanobis distance）。没有中间的 $\boldsymbol \Sigma^{-1}$ ，那就是欧式距离，欧式距离带来的一定的缺点就是它认为所有的维度之间是等同的，但是处理实际问题的时候，权重往往应该是有区别的。为了更好地理解这个马氏距离，因为协方差矩阵是实对角阵，进行特征值分解：，其中 $\mathbf U$ 是单位正交阵，即。，所以我们有，这就是协方差矩阵逆的另一种表达形式。其中， y_i 其实就是 $\mathbf{x}-\boldsymbol\mu$ 在 $\mathbf u_i$ 这个方向上的投影。 $1/\lambda_i$ 就是这个方向上的系数，当然也可以理解为我上面说的权重。如果 $\lambda_i$ 很大的话，说明在这个方向上，你改变很大，但是对最终概率的影响却很小。

4.1.3 MVN的最大似然估计

在一维的高斯分布中，我们有最大似然估计和。对于高维的高斯分布，，，不得不说形式上一样，下面我们来仔细看一下书中的证明。

4.1.3.1 证明*

在证明之前首先给出一些结论

这些都是线性代数相关知识，这个的证明就不详细说了，直接当作结论。

首先我们的似然函数可以写成：这个式子最后应该加一个const（常数项），当然对于MLE求解没有影响。我们先对一项进行求导。，其中，这就是利用了上面的公式2以及链式法则。然后我们用似然函数对 $\boldsymbol\mu$ 进行求导：，中间利用了 $\boldsymbol\Sigma$ 是对称的，我们就得到了 $\boldsymbol\mu$ 的最大似然估计值。接下来对 $\boldsymbol\Lambda$ 进行求导，首先，其中。这边用了trace的技巧，首先标量的trace等于本身，其次trace具有轮换性。所以在此利用上面的第三行和第四行的公式，得到：，又有，所以。由于参数是要同时进行估计的，所以这里的 $\boldsymbol\mu$ 就用最大似然得到的 $\boldsymbol{\hat\mu}$ 代替。

4.1.4 高斯分布的最大熵的推导

之前我们提到过，高斯分布是在均值和方差已知的情况下的最大熵分布。为了简化这个符号，pdf写作：，也就是0均值的。

定理4.1.2 假设 $q(\mathbf x)$ 是任意一个均值为0，方差满足（根据均值为0得到的）的分布。 $p = \mathcal N(\mathbf 0,\boldsymbol\Sigma)$ ，那么有h(q)<h(p)。

证明过程：

这个证明过程就是*这边很难理解，其余都很显然。这个地方首先p（x）是服从高斯分布的。你把取log带进去，常数项忽略掉，我们发现他就是一个关于 $\mathbf x$ 的二次项。同时我们又有，以及 $\int p(\mathbf x)x_ix_jd\mathbf x = \Sigma_{ij}$ ，所以 $p(\mathbf x)$ 和 $q(\mathbf x)$ 关于二次项的求导是一样的。所以我们可以换。所以就证明好了。

4.2 高斯判别分析(GDA)

MVN很大的一个应用就是在生成分类器中，定义类条件概率密度函数是高斯的：。这里两个说明点，一虽然叫高斯判别分析，但是其实是一个生成模型。第二点跟之前朴素贝叶斯不同的是这里的条件概率密度函数不是关于 $\mathbf x$ 的每一个分量独立的，除非 $\mathbf \Sigma_c$ 是对角阵。高斯判别分析我们在英文上又叫做 Gaussian discriminant analysis(GDA)

那么我们最终做决策根据公式：，其中最后一项我觉得写成 ${\rm log}p(\mathbf x|y=c;\boldsymbol \theta)$ 更直观。这个就是根据贝叶斯法则，通过类先验和类条件概率密度函数，得到y的后验概率密度函数（差一个常数项），通过最大后验，得到y的估计值，最终进行分类。

当你把条件概率密度函数是MVS带入上面公式，其实就是看你 $\mathbf x$ 和 $\boldsymbol \mu_c$ 之间的马氏距离（协方差矩阵也都是不一样的）。如果我们的类先验就是均匀分布的。那么。

4.2.1 二次判别分析(QDA)

高斯判别分析也有很多种分法，这主要依赖于协方差矩阵的形式，对于最一般的情况，我们叫做二次判别分析（quadrctic discriminant analysis, QDA）。这个的关于y的后验分布写成：

，其实就是把类条件概率分布和先验具体形式带到2.13里面，约掉了常数项。

4.2.2 线性判别分析（LDA）

线性的判别分析要求所有的类条件概率分布的协方差矩阵是一样的： $\mathbf \Sigma_c = \mathbf \Sigma$ 。这样的话4.2.1里面的公式就可以化简了，这里先不考虑下面的常数项，，这个推导比较简单。第二行的右边一项跟c是没有关系的，所以也必然可以约掉，所以其实如果我们假设那么就有，我们定义，而 $\mathcal S$ 其实就是个softmax函数，即。

书中解释了为什么叫这个为soft-max函数，假设对于每一个 $\eta_c$ 除以一个常量T(temperature，所以这个就是从统计物理里面引入的)。当T趋向于0时。那么有。解释一下：

这里对于书上4.38而言，取log的话，分子变成线性的，那么在做决策边界也就是两个类别的类后验概率相等，也就等价于：

，因为分母是可以不考虑的。那么其实这个决策边界是一个线性函数。所以这也是我们为什么叫他为线性判决分析。这一点我们联想一线前面的二次判别分析，那个关于分母取等式的话其实是关于 $\mathbf x$ 的一个二次式。

4.2.3 只有两个类别情况下的LDA

下面要说的就是y只能取｛0，1｝。根据上面的推导：

另一个就是1减去它。

根据之前的定义，得到，再进行如下的定义：

，就可以得到一个比较简单的形式：。这个形式就跟逻辑回归很像。这一块可能主要就是说明二维的LDA其实和逻辑回归是有很大的相似性的。

如果说，那么 $\mathbf w$ 的方向就是 $\boldsymbol\mu_1-\boldsymbol\mu_0$ ，所以如下图：

就是看你 $\mathbf x - \mathbf x_0$ 跟 $\mathbf w$ 的夹角是大于90度还是小于90度，就决定了你是哪一类，图中明显就是y=1。另外当没有先验信息时， $\mathbf x_0 = 1/2(\boldsymbol{\mu_1+\mu_0})$ ，先验就是用来移动 $\mathbf x_0$ 的位置，比如说 $\pi_1$ 越大，就说明 $\mathbf x_0$ 更靠近 $\boldsymbol\mu_0$ 。也就意味这被判到1类的概率就更高。