理解协方差与相关系数

协方差

简单理解
定义两个变量变量a，和变量b
变量a增大，变量b也增大说明两个变量是同向的，协方差为正
变量a变大，变量b变小说明两个变量反向的，协方差为负
协方差代表这两个数值a和b之间的同向或者反向程度

公式

image.png

比如，一个西瓜甜度和它所在的海拔位置是否存在练习。按照以上公式x为西瓜甜度，y为海拔高度，代入公式计算，如果结果为负值，就说明两者负相关，海拔越低西瓜越甜，如果正相关，则海拔越高西瓜越甜，如果为0，则海拔和西瓜甜度没有关系。
协方差矩阵
当然西瓜的例子属于二维的问题，实际问题往往是多维度，在机器学习中往往是用矩阵(多维数组)来计算。
为此，我们可以利用下面公式来哦计算。以三维为例子：

image.png

相关系数

公式

image.png

其中：var(x)为x的方差，var（y）为y的方差
相关系数意义
Corr(X,Y)=1的时候，说明两个随机变量完全正相关，即满足Y=aX+b，a>0
Corr(X,Y)=1，两个随机变量相同
Corr(X,Y)=-1的时候，说明两个随机变量完全负相关，即满足Y=-aX+b，a>0
0<| Corr(X,Y)|<1的时候，说明两个随机变量具有一定程度的线性关系。