协方差矩阵的理解

转载自：https://www.cnblogs.com/chaosimple/p/3182157.html
【嵌牛导读】：本文主要是介绍对协方差矩阵的理解.

【嵌牛鼻子】：协方差矩阵

【嵌牛提问】：怎样理解协方差矩阵？

【嵌牛正文】：

这两天看主成分分析算法时，里面出现了个协方差矩阵的概念。协方差矩阵是啥个意思也不知道，所以就在网上搜索了下，发现有个讲的挺细的，所以就在这拿出来了。

数学期望

为啥提期望呢，肯定是有关系的嘞。来来来，先简单回顾下数学期望相关的知识。

• 数学期望
  离散型随机变量的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望（设级数绝对收敛），记为 E（x）。随机变量最基本的数学特征之一。它反映随机变量平均取值的大小。又称期望或均值。
  若随机变量X的分布函数F(x)可表示成一个非负可积函数f(x)的积分，则称X为连续性随机变量，f(x)称为X的概率密度函数（分布密度函数）。
• 方差
  方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。在许多实际问题中，研究随机变量和均值之间的偏离程度有着很重要的意义。
  方差刻画了随机变量的取值对于其数学期望的离散程度。

协方差

标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：

image

来度量各个维度偏离其均值的程度，协方差可以这样来定义：

image

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。如果结果为负值， 就说明两者是负相关，越猥琐女孩子越讨厌。如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。
从协方差的定义上我们也可以看出一些显而易见的性质，如：

image

image

协方差矩阵

前面提到的猥琐和受欢迎的问题是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：

image

这个定义还是很容易理解的，我们可以举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：

image

可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差

这里还有一篇博客感觉很不错，很详细，链接在这：http://blog.csdn.net/itplus/article/details/11452743