[统计学理论基础] 协方差与相关系数

1 协方差

二维随机变量（X，Y），X与Y之间的协方差定义为：
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
其中：E(X)为分量X的期望，E(Y)为分量Y的期望

协方差Cov(X,Y)是描述随机变量相互关联程度的一个特征数，协方差代表了两个变量之间的是否同时偏离均值。
从协方差的定义可以看出，它是X的偏差【X-E(X)】与Y的偏差【Y-E(Y)】的乘积的数学期望。由于偏差可正可负，因此协方差也可正可负。

• 当协方差Cov(X,Y)>0时，称X与Y正相关
• 当协方差Cov(X,Y)<0时，称X与Y负相关
• 当协方差Cov(X,Y)=0时，称X与Y不相关

如果正相关，每个样本对（Xi, Yi）,　每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。

在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况：

当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，这种情况，我们称为“正相关”。

当X, Y 的联合分布像上图那样时，我们可以看出，大致上有：X 越大Y 反而越小࿰