相关系数

在机器学习中，为了减少无用的特征来减少特征矩阵，经常需要判断两个特征直接是否相关，是否成平均关系，通过计算相关系数就是一种常用的方法。

定义

r = cov(x,y)/squre(var(x)*var(y))
其中squre()为开方函数，var()为方差函数，cov()为协方差函数，即E[(X-E(x))(Y-E(Y))]。x，y为两个特征向量。

相关系数的取值范围：0<=r<=1

作用

当两个特征间的相关系数越接近1时，那么两个特征越线性相关，否则越线性无关，如果在特征矩阵较大的情况下，为了减小计算性能消耗，可以只选其中一个特征。

几何意义

事实上可以将其理解成x * y / ||x|| ||y|| = cos(theta)，即cos(theta)越接近0，那么x，y越平行，反之越垂直。