高斯分布补充知识

原创 2015年07月08日 18:50:01

PRML第二章啃到高斯分布的时候就开始不知所云了,看了这篇BlogPRML Chapter 2.3 The Gaussian Distribution之后,觉得讲的很清晰,可惜作者没有写完,于是转过去看了“Methods of Multivariate Analysis ”的第三章。这里是对这些基础知识点的一个记录,用来日后复习。


单变量和双变量

单变量的均值和方差

变量y的n个观察量y 1 ,y 2 ,y 3 ,...,y n  ,那么样本均值:

y ¯ =1n  i=1 n y i  

样本均值y ¯  永远不会等于变量y的总体均值μ ,尽管随着样本数量的增加y ¯  会无限接近μ y ¯  μ 的无偏估计量,因为E(y ¯ )=μ,var(y ¯ )=σ 2 n  
样本方差:s 2 = n i=1 (y i y ¯ )n1  
同理s 2  是总体方差σ 2  的无偏估计量

双变量的协方差和相关性

协方差

协方差表示两个变量之间的关系,下图中是一些身高和体重的样本数据
这里写图片描述
如果把样本用下边的图表示出来,可以发现当身高高于平均值的时候往往体重也会高于平均值,这两者之间可能存在一些相关
两个随机变量x和y之间的关系:

E(x+y)=E(x)+E(y) 

E(xy)=E(x)E(y)xy 

如果变量x和y的联合概率密度可以表示为p(x,y)=p(x)p(y) 那么变量x和y相互独立,二者相互独立也就是彼此不会相互影响
如果x和y相互独立,那么二者的协方差σ xy =0 ;反之,如果x,y的协方差σ xy =0 则不能说明二者相互独立
σ xy =E(xy)μ x μ y =E(x)E(y)μ x μ y μ x μ y =μ x μ y μ x μ y =0 

样本协方差:
s xy = n i=1 (x i x ¯ )(y i y ¯ )n1  

s xy = n i=1 x i y i nx ¯ y ¯ n1  

s xy  永远也不会等于σ xy  ,前者是后者的无偏估计量
样本协方差矩阵只衡量二者之间的线性关系
两组样本的样本协方差为0表示这两组样本正交

相关性

从上边可以看出,如果把变量x和y的样本同时乘以一个系数,那么二者的协方差也会发生变化,由此可以看出协方差与尺度相关,于是引入总体相关性:

ρ=corr(x,y)=σ xy σ x σ y  =E[(xμ x )(yμ y )]E(xμ x ) 2  − − − − − − − − −   E(yμ y ) 2  − − − − − − − − −     

样本相关性:
r xy =s xy s x s y  = n i=1 (x i x ¯ )(y i y ¯ ) n i=1 (x i x ¯ ) 2  n i=1 (y i y ¯ ) 2  − − − − − − − − − − − − − − − − − − − − − −     

仔细看一下:这个式子是和两个向量之间的cos夹角是一致的,所以相关性衡量的也就是两个向量之间的cosine距离
cosθ=a   T b  (a   T a  )(b   T b  ) − − − − − − − − −    =a   T b  a  b   =r xy  


多变量

均值

向量y   表示一个变量,对变量y   取样n次:

y=⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y i1 y i2 ...y ip  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟  

整个数据矩阵:
Y=⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y T 1 y T 2 ...y T n  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ =⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y 11 y 12 ...y 1p y 21 y 22 ...y 2p ............y n1 y n2 ...y np  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟  

y ¯  T =1n j T Yy ¯ =1n Y T j 

j是一个全1的向量
未完待续。。。

版权声明:本文为博主原创文章,未经博主允许不得转载。

服务器caffe环境配置

配置目标:cuda8.0 + cudnn + opncv3.1 + matlab-R2014a + mkl 服务器配置: 显卡:k80 系统:ubuntu14.04(64位) 安装步骤: 1....

先验概率、似然函数、后验概率、贝叶斯公式

先验概率、似然函数、后验概率、贝叶斯公式 联合概率的乘法公式: (如果随机变量是独立的,则)   由乘法公式可得条件概率公式:, 全概率公式:,其中 (,则可轻易推导出上式)  ...

机器学习小组知识点15:高斯分布/正态分布(Gaussian Distribution/Normal Distribution)

试用环境正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的,理论上可以证明如果把许多小...

Matlab 广义高斯分布建模

  • 2017年11月10日 15:14
  • 301KB
  • 下载

高斯分布来建立背景模型

  • 2013年04月28日 11:52
  • 2KB
  • 下载

协方差矩阵与二维高斯分布

多维高斯分布:f(x)=1(2π)d2|Σ|−12exp[−12(x−μ)TΣ−1(x−μ)] f(\mathbf x )= \frac{1}{{(2\pi)}^{\frac{d}{2}}{\begi...
  • xfijun
  • xfijun
  • 2016年12月22日 23:03
  • 4247

高斯分布模型

  • 2013年05月15日 12:41
  • 162KB
  • 下载

Python数据可视化:正态分布(高斯分布)

正态分布(Normal distribution)又成为高斯分布(Gaussian distribution)若随机变量X服从一个数学期望为、标准方差为的高斯分布,记为: 则其概率密度函数为: 正...

二维混合高斯分布的EM算法

  • 2009年09月01日 15:00
  • 2KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:高斯分布补充知识
举报原因:
原因补充:

(最多只允许输入30个字)