关闭

2.3 高斯分布

标签: 机器学习模式识别PRML贝叶斯方法
943人阅读 评论(0) 收藏 举报
分类:

2.3 高斯分布

1、基本概念

高斯分布形式:

N(xμ,σ2)=1(2πσ2)12exp{12σ2(xμ)2}

对于D维向量x,多元高斯分布的形式为:
N(xμ,Σ)=1(2π)D21(Σ)12exp{12(xμ)TΣ1(xμ)}

其中,μ 是一个D维均值向量,Σ 是一个DxD的协方差矩阵,Σ 是 Σ 的行列式。

⾼斯分布会在许多不同的问题中产生。对于一个一元实值向量,使熵取得最大值的是高斯分布,这个性质对于多元高斯也成⽴。当我们考虑多个随机变量之和的时候,也会产生高斯分布。拉普拉斯提出的中心极限定理(central limit theorem)告诉我们,对于某些温和的情况,一组随机变量之和(当然也是随机变量)的概率分布随着和式中项的数量的增加⽽逐渐趋向高斯分布(Walker, 1969)。

我们考虑高斯分布的几何形式。高斯对于x的依赖是通过下面形式的二次型:

Δ2=(xμ)TΣ1(xμ)

这个二次型出现在指数位置上。Δ 被叫做 μx 之间的马氏距离(Mahalanobis distance)。当 Σ 是单位矩阵时,就变成了欧式距离。对于x空间中这个二次型是常数的曲⾯,高斯分布也是常数。

高斯分布的局限性
1、对于大的D值,参数的总数随着D以平方的方式增长,并且对大矩阵进行计算、求逆会变得无法计算。解决这个问题的⼀种方式是使用协方差矩阵的限制形式,但是这样做也极大地限制了概率密度的形式,限制了它描述模型中有趣的相关性的能⼒。
2、高斯分布本质上是单峰的(即只有⼀个最⼤值),因此不能够很好地近似多峰分布。因此高斯分布一方面相当灵活,因为它有很多参数。另一方面,它又有很⼤的局限性,因为它不能够近似很多概率分布。

2、条件高斯分布

1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:20308次
    • 积分:529
    • 等级:
    • 排名:千里之外
    • 原创:27篇
    • 转载:0篇
    • 译文:6篇
    • 评论:4条
    文章分类
    最新评论