在建模时,被用来预测的变量(即feature)相互间不能有很强的相关性,最好完全不存在相关性。
评判变量间的预测力指标有皮尔森相关系数,斯皮尔曼相关系数,皮尔森卡方统计量,概率比,信息值等。
1.皮尔森相关系数pearson
连续变量x,y(两列feature), 皮尔森相关系数ρ:
取值区间[-1,1]。
0表示无相关性即相互独立,越接近于0,相关性越小;
-1为负的强相关性;
+1为正的强相关性。
去均值化的ρ即为余弦夹角公式:
小结:
1》皮尔森相关系数会受数据错误或极端值的影响而不稳定。
2》皮尔森相关系数计算的是每个观测值与均值间的差值,适合连续变量间的相关性计算,就不适合顺序/名义变量间的相关性计算。
3》越接近0,相关性越小。
2.斯皮尔曼相关系数spearman
斯皮尔曼相关系数的计算采用取值的等级,而不是取值本身。当取值按升序排列时,取值的等级就是该取值的顺序。如12,5,8的等级为3,1,2。计算公式类似皮尔森相关系数: