多维高斯分布模型

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cuihuijun1hao/article/details/71307166

多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分内容同生成学习法放在一起,但是想到这玩意把我虐那么痛苦,就单独一篇博客来写。

首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念

随机向量函数分布
这里写图片描述
这里写图片描述

这种概率密度转换方式 在本科教材是没有见过的,所以我们来推到一下,这是什么玩意?!!!

首先解释一下什么叫一一变换,所谓一一变换就是
这里写图片描述
这是线性变换的解释,但是基本就是这个意思,就是x与y是一一对应的。
感觉还是有必要,把高数课本掏出来
这里写图片描述

接下来,我们来解释一下是怎么推导出带雅可比的概率密度表达

首先我们要明白一个概率学上的概念,就是多元函数概率密度是怎么来的? 废话不多说,把本科概率密度教材再陶出来!
这里写图片描述
也就是说,我们的概率密度 实质是从分布函数二阶偏导求得的

有了以上理论基础,咱们就开始推导

首先我们定义:
这里写图片描述

这个公式,没有在哪本教材上看到过,但我觉得这样的表示没有问题,教材上是把联系偏导数作为概率密度,那我把梯度模作为概率密度不可以吗? 我觉得问题不大!!

这里写图片描述
雅可比式在高等数学下册 多元函数那里有介绍。

完成了上面的证明之后,我们来看看多维高斯分布模型的式子

这里写图片描述

这个是怎么来的,其实就是经过两个步骤
1,一维高斯模型联合分布成多维
2.经过线性变化

首先一维高斯模型联合分布就是累乘吗。
这里写图片描述

经过线性变化是什么意思呢?
这里写图片描述

这个y就是x的线性表示,注意u是一个列向量。
可以看出X是一个多维高斯模型,Y也是!我们要做的是把Y的多维高斯模型概率密度函数表示出来
其实就是套前面的公式吗!
注意下面这个式子
这里写图片描述

这里写图片描述

这里写图片描述

再看看这个最终的式子就不疑惑了吧!!
但是大部分机器学习资料里,多维高斯模型可不是这么表示的,因为我们看看,这里的A,C都是什么鬼,是不是都是依赖于另一个变量X的矩阵啊?我们现在来看看,这两个矩阵跟Y向量有什么关系,想办法用Y自身的统计量来替换他
首先我们要明白这些概念
这里写图片描述

这里写图片描述
注意为什么V(X)为什么小曲了? 因为我们在一维高斯里是方差为1,发展出来的多维的协方差是一个单位矩阵

有了上面的推到,我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子
这里写图片描述

而这个就是一般机器学习里常见到的公式拉!
我们在一维里最关心的是均值和方差,在多维里最关心的是 均值和协方差

这里写图片描述

以上是关于高斯模型的推导过程,现在我们来看看机器学习中比较关心的性质
这里写图片描述

这个图没什么太多好说的,只是在改变协方差矩阵对角线上的数改的越大,图形就越尖。好理解

这里写图片描述

上面这个图,我在上NLP的时候,懵逼过,其实就是高斯模型在平面上的投影,等高线上的(x,y)概率是相等的。

以上就是高斯模型的介绍

如果你看到这里,请扫一下我得支付宝红包二维码,哈哈哈

在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页