深入理解协方差

协方差

度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。

在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况：

1. 当 X, Y 的联合分布像图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，这种情况，我们称为“正相关”。
   

2. 当X, Y 的联合分布像下图那样时，我们可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，这种情况，我们称为“负相关”。

3. 当X, Y 的联合分布像下图那样时，我们可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，这种情况我们称为“不相关”。

方差

先从方差开始，我们有一组样本x1、x2、x3····xn，这组样本的均值为EX，每一个样本都与EX之间存在误差，那么这组样本的方差被定义为：所有误差的和的均值，也即[Σ(xi-EX)^2]/(n-1)，

方差的作用就是用来“衡量样本偏离均值的程度”。

仔细观察上述定义式，可知：如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

下面再从直观上理解一下上面这段话，假设我们拿到了一组（X, Y）的样本如下图（a）所示。然后让这组样本中的X、Y各自减掉自己的期望，得到新的一组样本，显然这组新样本的均值就变成了（0，0），这组新样本会分布在原点周围，如下图（b）所示。如果我们再把图b中的样本的每一个点的X乘以Y，那么图b的二维样本就会退化为一系列一维的点，而且，一三象限的点会分布到正半部分，二四象限的点会分布到左半部分，如下图（c）所示，根据上面的定义式，图c中样本的均值，就是图1中XY的协方差，从直观上看它的均值接近于0，物理意义就是，X和Y是几乎完全不相关。

例子

下面我们再来看一个X和Y正相关的例子，也即在某次我们同时对xy采样时，当x的采样值＞x的均值时，y的样本也一般是＞y的均值。

XY的采样值如上图a所示，各自减掉自己的均值后，得到的新样本如图b所示，图b中的样本中的每个点把x*y，得到一维样本如图c所示，显然，由图b转换为图c的时候，只有图b中第二象限的两个点落到了图c的负半轴，图b的其余点都落到了图c的正半轴，图c中样本的均值显然是个正值，这个正值就是图a的样本的协方差。

协方差矩阵意义