2.3 高斯分布

翻译 2016年05月30日 18:53:55

2.3 高斯分布

1、基本概念

高斯分布形式:

N(xμ,σ2)=1(2πσ2)12exp{12σ2(xμ)2}

对于D维向量x,多元高斯分布的形式为:
N(xμ,Σ)=1(2π)D21(Σ)12exp{12(xμ)TΣ1(xμ)}

其中,μ 是一个D维均值向量,Σ 是一个DxD的协方差矩阵,Σ 是 Σ 的行列式。

⾼斯分布会在许多不同的问题中产生。对于一个一元实值向量,使熵取得最大值的是高斯分布,这个性质对于多元高斯也成⽴。当我们考虑多个随机变量之和的时候,也会产生高斯分布。拉普拉斯提出的中心极限定理(central limit theorem)告诉我们,对于某些温和的情况,一组随机变量之和(当然也是随机变量)的概率分布随着和式中项的数量的增加⽽逐渐趋向高斯分布(Walker, 1969)。

我们考虑高斯分布的几何形式。高斯对于x的依赖是通过下面形式的二次型:

Δ2=(xμ)TΣ1(xμ)

这个二次型出现在指数位置上。Δ 被叫做 μx 之间的马氏距离(Mahalanobis distance)。当 Σ 是单位矩阵时,就变成了欧式距离。对于x空间中这个二次型是常数的曲⾯,高斯分布也是常数。

高斯分布的局限性
1、对于大的D值,参数的总数随着D以平方的方式增长,并且对大矩阵进行计算、求逆会变得无法计算。解决这个问题的⼀种方式是使用协方差矩阵的限制形式,但是这样做也极大地限制了概率密度的形式,限制了它描述模型中有趣的相关性的能⼒。
2、高斯分布本质上是单峰的(即只有⼀个最⼤值),因此不能够很好地近似多峰分布。因此高斯分布一方面相当灵活,因为它有很多参数。另一方面,它又有很⼤的局限性,因为它不能够近似很多概率分布。

2、条件高斯分布

高斯分布的信息熵最大。即,高斯分布是最混乱系统。

Normal
  • tony2278
  • tony2278
  • 2017年07月18日 21:04
  • 653

正态分布(Normal distribution)又名高斯分布(Gaussian distribution)

正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 ...
  • rns521
  • rns521
  • 2011年11月09日 19:34
  • 265420

高斯分布

数据挖掘中的高斯分布高斯分布,无论是单变量还是多元变量,在统计数据挖掘中是非常有用的,包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。为什么我们应该关注它 高斯像橘子汁和阳光...
  • u010182633
  • u010182633
  • 2015年05月13日 16:06
  • 3509

【机器学习】高斯分布为什么普遍和常用?

似然函数到高斯分布为了得到精确值,我们需要进行多次测量,测量值大部分对称分布在真实值两侧附近。设测量期望为θ\theta,误差为ei=xi−θe_i=x_i-\theta,期望为0,误差分布满足什么规...
  • lpsl1882
  • lpsl1882
  • 2017年12月26日 20:41
  • 191

概率论:高斯/正态分布

http://blog.csdn.net/pipisorry/article/details/49516209 正态分布(高斯分布) 若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布,记为...
  • pipisorry
  • pipisorry
  • 2015年10月30日 20:31
  • 8102

Python数据可视化:正态分布(高斯分布)

正态分布(Normal distribution)又成为高斯分布(Gaussian distribution)若随机变量X服从一个数学期望为、标准方差为的高斯分布,记为: 则其概率密度函数为: 正...
  • kevinelstri
  • kevinelstri
  • 2016年09月27日 11:19
  • 13359

高斯分布_三种类别

Multivariate Gaussian (normal) pdf  defined as evaluated at  feature vector , with  mean vector ...
  • rylq56m9
  • rylq56m9
  • 2016年03月15日 22:47
  • 1178

高斯分布概率密度函数(PDF)和累积分布函数(CDF)

正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 ...
  • renwudao24
  • renwudao24
  • 2015年03月19日 21:36
  • 18940

高斯分布(Gaussian distribution)及其概率密度函数PDF和累积分布函数CDF

这是维基百科上的介绍,图文并茂,非常给力 正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的...
  • renwudao24
  • renwudao24
  • 2015年03月19日 19:56
  • 20691

线性回归要求因变量服从正态分布

对于线性回归模型,当因变量服从正态分布,误差项满足高斯–马尔科夫条件(零均值、等方差、不相关)时,回归参数的最小二乘估计是一致最小方差无偏估计.解释一:我们假设线性回归的噪声服从均值为0的正态分布。 ...
  • u010462995
  • u010462995
  • 2017年04月27日 11:31
  • 3699
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:2.3 高斯分布
举报原因:
原因补充:

(最多只允许输入30个字)