机器学习(十六)——多元正态分布(The multivariate normal distribution)

原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf

n维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化的,其中Σ≥0是对称的和正半定的。也被写作,它的密度函数为


在上面的方程中,“|Σ|”表示矩阵Σ的行列式。

对于一个随机变量X分布的,均值是


向量值随机变量Z的协方差定义为。这是一个实值随机变量方差的概念.协方差也可以定义为。(你应该能够证明这两个定义是等价的。) 如果,那么


以下是高斯分布的密度的一些示例:


最左边的图表示均值为零(即2x1零向量)和协方差矩阵Σ=i(2x2恒等矩阵)的高斯分布。具有零均值和恒等协方差的高斯也称为标准正态分布。中间图为零均值高斯密度,Σ=0.6I。在最右边的图中,Σ=2I。我们看到,随着Σ变大,高斯变得更“分散”,当它变得更小,分布变得更“压缩”。

让我们来看看更多的例子。


以上数字分别表示均值为0的高斯矩阵和协方差矩阵。


最左边的图显示了熟悉的标准正态分布,我们发现,我们看到当我们在Σ中增加非对角线条目时,密度变得更“压缩”到45度线。当我们看同样三种密度的等值线时,我们可以更清楚地看到这一点:


下面是由可变Σ生成的最后一组示例:


对应的:


从最左边和中间的数字,我们看到,通过减少协方差矩阵的对角线元素,密度现在又变得“压缩”,但在相反的方向。最后,随着参数的变化,更一般的等高线将形成椭圆。

作为最后一组示例,修复Σ=I,通过改变变量,我们也可以移动密度的均值。


上面的数字是使用Σ=I生成的,并且分别




阅读更多
文章标签: machine learning
个人分类: machine learning
所属专栏: machine learning
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭