高斯分布补充知识

原创 2015年07月08日 18:50:01

PRML第二章啃到高斯分布的时候就开始不知所云了,看了这篇BlogPRML Chapter 2.3 The Gaussian Distribution之后,觉得讲的很清晰,可惜作者没有写完,于是转过去看了“Methods of Multivariate Analysis ”的第三章。这里是对这些基础知识点的一个记录,用来日后复习。


单变量和双变量

单变量的均值和方差

变量y的n个观察量y 1 ,y 2 ,y 3 ,...,y n  ,那么样本均值:

y ¯ =1n  i=1 n y i  

样本均值y ¯  永远不会等于变量y的总体均值μ ,尽管随着样本数量的增加y ¯  会无限接近μ y ¯  μ 的无偏估计量,因为E(y ¯ )=μ,var(y ¯ )=σ 2 n  
样本方差:s 2 = n i=1 (y i y ¯ )n1  
同理s 2  是总体方差σ 2  的无偏估计量

双变量的协方差和相关性

协方差

协方差表示两个变量之间的关系,下图中是一些身高和体重的样本数据
这里写图片描述
如果把样本用下边的图表示出来,可以发现当身高高于平均值的时候往往体重也会高于平均值,这两者之间可能存在一些相关
两个随机变量x和y之间的关系:

E(x+y)=E(x)+E(y) 

E(xy)=E(x)E(y)xy 

如果变量x和y的联合概率密度可以表示为p(x,y)=p(x)p(y) 那么变量x和y相互独立,二者相互独立也就是彼此不会相互影响
如果x和y相互独立,那么二者的协方差σ xy =0 ;反之,如果x,y的协方差σ xy =0 则不能说明二者相互独立
σ xy =E(xy)μ x μ y =E(x)E(y)μ x μ y μ x μ y =μ x μ y μ x μ y =0 

样本协方差:
s xy = n i=1 (x i x ¯ )(y i y ¯ )n1  

s xy = n i=1 x i y i nx ¯ y ¯ n1  

s xy  永远也不会等于σ xy  ,前者是后者的无偏估计量
样本协方差矩阵只衡量二者之间的线性关系
两组样本的样本协方差为0表示这两组样本正交

相关性

从上边可以看出,如果把变量x和y的样本同时乘以一个系数,那么二者的协方差也会发生变化,由此可以看出协方差与尺度相关,于是引入总体相关性:

ρ=corr(x,y)=σ xy σ x σ y  =E[(xμ x )(yμ y )]E(xμ x ) 2  − − − − − − − − −   E(yμ y ) 2  − − − − − − − − −     

样本相关性:
r xy =s xy s x s y  = n i=1 (x i x ¯ )(y i y ¯ ) n i=1 (x i x ¯ ) 2  n i=1 (y i y ¯ ) 2  − − − − − − − − − − − − − − − − − − − − − −     

仔细看一下:这个式子是和两个向量之间的cos夹角是一致的,所以相关性衡量的也就是两个向量之间的cosine距离
cosθ=a   T b  (a   T a  )(b   T b  ) − − − − − − − − −    =a   T b  a  b   =r xy  


多变量

均值

向量y   表示一个变量,对变量y   取样n次:

y=⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y i1 y i2 ...y ip  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟  

整个数据矩阵:
Y=⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y T 1 y T 2 ...y T n  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ =⎛ ⎝ ⎜ ⎜ ⎜ ⎜ y 11 y 12 ...y 1p y 21 y 22 ...y 2p ............y n1 y n2 ...y np  ⎞ ⎠ ⎟ ⎟ ⎟ ⎟  

y ¯  T =1n j T Yy ¯ =1n Y T j 

j是一个全1的向量
未完待续。。。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Python 图像处理: 生成二维高斯分布蒙版

在图像处理以及图像特效中,经常会用到一种成高斯分布的蒙版,蒙版可以用来做图像融合,将不同内容的两张图像结合蒙版,可以营造不同的艺术效果。I=M∗F+(1−M)∗B I = M*F+(1-M)*B ...

高斯分布模型

  • 2013-05-15 12:41
  • 162KB
  • 下载

高斯分布的点落入心形曲线的一个解决方案

给定心形曲线(x2+y2−1)3=x2y3(x^2+y^2-1)^3=x^2y^3,给定任意一点的坐标(X,Y)(X,Y)其中X~N(X,σx)X~N(X,\sigma_x),Y~N(Y,σy)Y~N...

高斯分布VC++程序

  • 2010-03-22 10:43
  • 23KB
  • 下载

Python数据可视化:正态分布(高斯分布)

正态分布(Normal distribution)又成为高斯分布(Gaussian distribution)若随机变量X服从一个数学期望为、标准方差为的高斯分布,记为: 则其概率密度函数为: 正...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)