2.3 高斯分布

翻译 2016年05月30日 18:53:55

2.3 高斯分布

1、基本概念

高斯分布形式:

N(xμ,σ2)=1(2πσ2)12exp{12σ2(xμ)2}

对于D维向量x,多元高斯分布的形式为:
N(xμ,Σ)=1(2π)D21(Σ)12exp{12(xμ)TΣ1(xμ)}

其中,μ 是一个D维均值向量,Σ 是一个DxD的协方差矩阵,Σ 是 Σ 的行列式。

⾼斯分布会在许多不同的问题中产生。对于一个一元实值向量,使熵取得最大值的是高斯分布,这个性质对于多元高斯也成⽴。当我们考虑多个随机变量之和的时候,也会产生高斯分布。拉普拉斯提出的中心极限定理(central limit theorem)告诉我们,对于某些温和的情况,一组随机变量之和(当然也是随机变量)的概率分布随着和式中项的数量的增加⽽逐渐趋向高斯分布(Walker, 1969)。

我们考虑高斯分布的几何形式。高斯对于x的依赖是通过下面形式的二次型:

Δ2=(xμ)TΣ1(xμ)

这个二次型出现在指数位置上。Δ 被叫做 μx 之间的马氏距离(Mahalanobis distance)。当 Σ 是单位矩阵时,就变成了欧式距离。对于x空间中这个二次型是常数的曲⾯,高斯分布也是常数。

高斯分布的局限性
1、对于大的D值,参数的总数随着D以平方的方式增长,并且对大矩阵进行计算、求逆会变得无法计算。解决这个问题的⼀种方式是使用协方差矩阵的限制形式,但是这样做也极大地限制了概率密度的形式,限制了它描述模型中有趣的相关性的能⼒。
2、高斯分布本质上是单峰的(即只有⼀个最⼤值),因此不能够很好地近似多峰分布。因此高斯分布一方面相当灵活,因为它有很多参数。另一方面,它又有很⼤的局限性,因为它不能够近似很多概率分布。

2、条件高斯分布

机器学习:贝叶斯总结_2:概率分布

伯努利分布 Bern(x|μ)=μx(1−μ)1−xBern(x| \mu)=\mu^x(1-\mu)^{1-x} μML=mN\mu_{ML}=\frac{m}{N} : 正面朝上的概率,是数据集中...

Matlab 广义高斯分布建模

  • 2017年11月10日 15:14
  • 301KB
  • 下载

高斯分布来建立背景模型

  • 2013年04月28日 11:52
  • 2KB
  • 下载

协方差矩阵与二维高斯分布

多维高斯分布:f(x)=1(2π)d2|Σ|−12exp[−12(x−μ)TΣ−1(x−μ)] f(\mathbf x )= \frac{1}{{(2\pi)}^{\frac{d}{2}}{\begi...
  • xfijun
  • xfijun
  • 2016年12月22日 23:03
  • 4179

高斯分布模型

  • 2013年05月15日 12:41
  • 162KB
  • 下载

Python数据可视化:正态分布(高斯分布)

正态分布(Normal distribution)又成为高斯分布(Gaussian distribution)若随机变量X服从一个数学期望为、标准方差为的高斯分布,记为: 则其概率密度函数为: 正...

二维混合高斯分布的EM算法

  • 2009年09月01日 15:00
  • 2KB
  • 下载

高斯分布随机数 C语言实现

  • 2010年08月13日 16:23
  • 1KB
  • 下载

高斯分布序列matlab

如何用matlab 产生 均值为0,方差为5的高斯噪声 2011-07-15 19:36 y=randn(1,2500);  y=y/std(y);  y=y-mean(y);  a=0...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:2.3 高斯分布
举报原因:
原因补充:

(最多只允许输入30个字)