协方差矩阵的详细说明 .

转载 2013年12月05日 21:30:24

 

转自:http://blog.csdn.net/faceRec/article/details/1697362

 

协方差矩阵的详细说明

黄叶权  整理于2007-7-18

 

在做人脸识别的时候经常与协方差矩阵打交道,但一直也只是知道其形式,而对其意义却比较模糊,现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。

 

变量说明:

为一组随机变量,这些随机变量构成随机向量,每个随机变量有m个样本,则有样本矩阵

                                                           (1)

其中 对应着每个随机向量X的样本向量, 对应着第i个随机单变量的所有样本值构成的向量。

 

单随机变量间的协方差:

随机变量之间的协方差可以表示为

                                                                   (2)

根据已知的样本值可以得到协方差的估计值如下:

                                                           (3)

可以进一步地简化为:

                           (4)

 协方差矩阵: 

  

                         (5)

其中,从而得到了协方差矩阵表达式。

如果所有样本的均值为一个零向量,则式(5)可以表达成:

    (6)

 

补充说明:

 

1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差,而不是不同样本之间的协方差,如元素Cij就是反映的随机变量Xi, Xj的协方差。

2、协方差是反映的变量之间的二阶统计特性,如果随机向量的不同分量之间的相关性很小,则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合,为了使随机向量的长度较小,可以采用主成分分析的方法,使变换之后的变量的协方差矩阵完全是一个对角矩阵,之后就可以舍弃一些能量较小的分量了(对角线上的元素反映的是方差,也就是交流能量)。特别是在模式识别领域,当模式向量的维数过高时会影响识别系统的泛化性能,经常需要做这样的处理。

3、必须注意的是,这里所得到的式(5)和式(6)给出的只是随机向量协方差矩阵真实值的一个估计(即由所测的样本的值来表示的,随着样本取值的不同会发生变化),故而所得的协方差矩阵是依赖于采样样本的,并且样本的数目越多,样本在总体中的覆盖面越广,则所得的协方差矩阵越可靠。

4、如同协方差和相关系数的关系一样,我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大,还会引入相关系数矩阵。

 

协方差矩阵的详细说明

协方差矩阵的详细说明黄叶权  整理于2007-7-18 在做人脸识别的时候经常与协方差矩阵打交道,但一直也只是知道其形式,而对其意义却比较模糊,现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不...
  • faceRec
  • faceRec
  • 2007年07月18日 19:58
  • 41881

协方差矩阵、相关矩阵的详细说明

一、协方差矩阵     在做人脸识别的时候经常与协方差矩阵打交道,但一直也只是知道其形式,而对其意义却比较模糊,现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。 ...
  • liuheng0111
  • liuheng0111
  • 2016年09月09日 00:14
  • 372

协方差矩阵的详细说明 -------转

说明:个人觉得公式推导应该是正确的,后面的解释也不错,就是开始表述的有些不太好。 既然是做人脸识别应用的,将Xi称作特征,X称作特征向量,每个包含n个特征,m是样本个数,这个挺好。 alpha_i...
  • ljbsdu
  • ljbsdu
  • 2011年05月14日 21:20
  • 993

协方差矩阵的几何解释

介绍在本文中,我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反,我们采取一个反向的方法,根据数据的形状来解释协方差矩...
  • u010182633
  • u010182633
  • 2015年05月23日 20:34
  • 5254

[线性代数] 如何求协方差矩阵

1. 协方差定义 X、Y 是两个随机变量,X、Y 的协方差 cov(X, Y) 定义为: 其中:  、 2. 协方差矩阵定义 矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是...
  • kuang_liu
  • kuang_liu
  • 2013年11月17日 14:52
  • 19644

关于协方差矩阵的理解

在《主成分分析》中,我们用到了协方差矩阵,但当时并没有对其进行深入的讨论。为此,本文将针对协方差矩阵做一个详细的介绍,其中包括协方差矩阵的定义、数学意义以及计算公式的推导。...
  • peghoty
  • peghoty
  • 2013年09月09日 07:45
  • 43546

我所理解的协方差矩阵

1.前言 看论文的时候又看到了协方差矩阵这个破东西,以前看图像处理的书籍的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来。 2.拼出身—统计学的...
  • shenziheng1
  • shenziheng1
  • 2016年10月28日 14:37
  • 2048

协方差矩阵的定义及其计算公式 (转)

协方差矩阵的定义及其计算公式   (2014-03-20 18:36:56) 转载▼   分类: matlab 协方差矩阵在机器学习中经...
  • duanyule_cqu
  • duanyule_cqu
  • 2017年02月10日 00:07
  • 6703

PCA与协方差矩阵

PCA的缘起  PCA大概是198x年提出来的吧,简单的说,它是一种通用的降维工具。在我们处理高维数据的时候,为了能降低后续计算的复杂度,在“预处理”阶段通常要先对原始数据进行降维,而PCA就是干这...
  • upcatcat
  • upcatcat
  • 2014年12月01日 18:29
  • 705

协方差矩阵 阵列处理基础

在处理阵列信号的时候,为了获得空间信号维度的相关性,以估计目标的信息。故使用协方差矩阵能够获得这些,因为协方差矩阵是每一维度下(也就是阵元)信号的相关性。当两个维度相关时,信号的协方差也是最大的。这只...
  • taiyangshenniao
  • taiyangshenniao
  • 2016年06月21日 19:24
  • 1133
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:协方差矩阵的详细说明 .
举报原因:
原因补充:

(最多只允许输入30个字)