期望、方差、协方差、相关系数的理解

目录

1、数学期望（均值）

2、方差 D(X) 或 Var(X)

3、协方差 Cov(X,Y)

4、相关系数 ρ

5、协方差矩阵

---

一句话概括：期望反映了平均水平，方差反映了数据波动程度，协方差反映了两个随机变量间的相关性（有量纲），相关系数反映了两个随机变量间无量纲的相关性。

1、数学期望（均值）

对随机变量及其概率的加权平均：

这里说的期望也就是均值，在统计学中大多数情况下是以样本来代替整体，因此样本的均值计算公式为：

2、方差 D(X) 或 Var(X)

用来了解实际指标与平均值之间的偏差情况，即反映了数据取值的分散程度。

若 X 取值集中，则其方差较小，反之， X 越分散其方差越大。

D(X) 满足以下性质：

当 X 与 Y 满足独立同分布（iid）时， ，此时：

这里的  就是后面要说的 协方差。

另外 标准差（均方差）的计算公式为：  ，与 X 具有相同的量纲。

 在样本分析中，方差的计算公式为：

注意：这里除以的是1/(n-1)。

方差计算中为什么会出现除以 n 和除以 n-1 两种情况？：

除以 n计算的是总体方差  ，除以 n-1计算的是样本方差  （也即总体方差的无偏估计）。但是现实中计算总体方差往往是不切实际的，而统计学的研究内容之一就是用样本推测总体，因此我们就常使用样本方差来代替总体情况。

为什么计算样本方差时是除以 n-1 呢？因为我们在计算样本方差前一定会计算样本均值 x  （换句话说，会对样本求和），这就导致样本的 n 项如果确定了 n-1 项的话，第 n 项就一定可以确定，即自由度是 n-1，所以每项出现的概率是 1/(n-1) ，因此要除以 n-1。用线性代数的角度来说，这 n 个量不是独立的，若将 n 个量看成向量的话是线性相关的，可以由 n-1 个线性无关的向量表示。

如果除以 n 代表是在整体数据上做计算，此时所有的量的出现概率都是 1/n，因此此时的方差  的计算是除以 n。但是这种情况大多是理想情况下的计算方式，而现实中绝大部分情况都是以样本估计总体，因此我们常见的方差计算公式就是除以 n-1 了。

3、协方差 Cov(X,Y)

协方差用以描述两个变量间的相关性。协方差是一个具有量纲的量。

若X 与 Y 相互独立，则  。

4、相关系数 ρ

相关系数也用以描述两个变量间的相关性，但与协方差不同的是，相关系数是一个没有量纲的量，公式如下。

另外，称

为X、Y的标准化。则有：

相关系数的性质：

•  。  的值越大说明线性相关程度就越大，  值较大时称 X 与 Y 的线性相关度好；  时说明 X 与 Y 不存在线性关系，但可能存在其他关系，如对于服从  上的随机变量X来说，若X1=sinX，X2=cosX，虽然  ，但满足  。
•  的充要条件：存在常数a、b，使得

5、协方差矩阵

 协方差矩阵用来描述多维随机变量不同维度间的协方差。

设n维随机变量  的二阶协方差为

​​​​​​​则矩阵

 称为n维随机变量  的协方差矩阵。由于  ，因此协方差矩阵也是对称矩阵，方差构成了其对角线上的元素，协方差构成了非对角线上的元素。一般地，n 维随机变量的分布是不知道的，或者太复杂，以致数学上不易处理，因此在实际应用中协方差矩阵就显得十分重要了。协方差矩阵广泛用于统计学与机器学习等领域。