协方差矩阵

协方差
通常，在提到协方差的时候，需要对其进一步区分。（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数。（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。

随机变量的协方差
在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下。
cov(X,Y)=E[(X−E[X])(Y−E[Y])]

当X，Y是同一个随机变量时，X与其自身的协方差就是X的方差，可以说方差是协方差的一个特例。
cov(X,X)=E[(X−E[X])(X−E[X])]

或
var(X)=cov(X,X)=E[(X−E[X])2]

由于随机变量的取值范围不同，两个协方差不具备可比性。如X，Y，Z分别是三个随机变量，想要比较X与Y的线性相关程度强，还是X与Z的线性相关程度强，通过cov(X,Y)与cov(X,Z)无法直接比较。定义相关系数η为

通过X的方差var(X)与Y的方差var(Y)对协方差cov(X,Y)归一化，得到相关系数η，η的取值范围是[−1,1]。1表示完全线性相关，−1表示完全线性负相关，0表示线性无关。线性无关并不代表完全无关，更不代表相互独立。

https://www.cnblogs.com/terencezhou/p/6235974.html