多维高斯分布模型

多维高斯模型在机器学习中应用广泛，在学到 Generative Learning Algorithm的时候，碰到了高斯模型，才意识到一定要恶补一下这部分知识，之前上自然语言课的时候，就因为多维高斯模型不懂，全程懵逼。本来想把这部分内容同生成学习法放在一起，但是想到这玩意把我虐那么痛苦，就单独一篇博客来写。

首先学习高斯模型之前，我们一定会 随机向量函数分布 的该概念

随机向量函数分布

这种概率密度转换方式 在本科教材是没有见过的，所以我们来推到一下，这是什么玩意？！！！

首先解释一下什么叫一一变换，所谓一一变换就是

这是线性变换的解释，但是基本就是这个意思，就是x与y是一一对应的。
感觉还是有必要，把高数课本掏出来

接下来，我们来解释一下是怎么推导出带雅可比的概率密度表达

首先我们要明白一个概率学上的概念，就是多元函数概率密度是怎么来的？ 废话不多说，把本科概率密度教材再陶出来！

也就是说，我们的概率密度 实质是从分布函数二阶偏导求得的

有了以上理论基础，咱们就开始推导

首先我们定义：

这个公式，没有在哪本教材上看到过，但我觉得这样的表示没有问题，教材上是把联系偏导数作为概率密度，那我把梯度模作为概率密度不可以吗？ 我觉得问题不大！！

雅可比式在高等数学下册 多元函数那里有介绍。

完成了上面的证明之后，我们来看看多维高斯分布模型的式子

这个是怎么来的，其实就是经过两个步骤
1，一维高斯模型联合分布成多维
2.经过线性变化

首先一维高斯模型联合分布就是累乘吗。

经过线性变化是什么意思呢？

这个y就是x的线性表示，注意u是一个列向量。
可以看出X是一个多维高斯模型，Y也是！我们要做的是把Y的多维高斯模型概率密度函数表示出来
其实就是套前面的公式吗！
注意下面这个式子

再看看这个最终的式子就不疑惑了吧！！
但是大部分机器学习资料里，多维高斯模型可不是这么表示的，因为我们看看，这里的A，C都是什么鬼，是不是都是依赖于另一个变量X的矩阵啊？我们现在来看看，这两个矩阵跟Y向量有什么关系，想办法用Y自身的统计量来替换他
首先我们要明白这些概念

注意为什么V(X)为什么小曲了？ 因为我们在一维高斯里是方差为1，发展出来的多维的协方差是一个单位矩阵

有了上面的推到，我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子

而这个就是一般机器学习里常见到的公式拉！
我们在一维里最关心的是均值和方差，在多维里最关心的是 均值和协方差

以上是关于高斯模型的推导过程，现在我们来看看机器学习中比较关心的性质

这个图没什么太多好说的，只是在改变协方差矩阵对角线上的数改的越大，图形就越尖。好理解

上面这个图，我在上NLP的时候，懵逼过，其实就是高斯模型在平面上的投影，等高线上的（x,y）概率是相等的。

以上就是高斯模型的介绍

如果你看到这里，请扫一下我得支付宝红包二维码，哈哈哈