spark 相关性分析_SparkML之相关性分析

相关性分析

相关性分析是考察两个变量之间的线性关系的一种统计方法，用于衡量两个变量因数的相关程度。但是，请记住，相关性不等于因果性。接下来结合下图的txt格式的文件来对相关性分析进行了解。

两个重要的要素

从非常直观的分析思路来说，比如分析身高和体重，我们会问个问题：.身高越高，体重是不是越重？问题细分为两个方向：1，身高越高，体重越重还是越轻。2，身高每增加 1 ，体重又是增加多少或减少多少。這就是相关性的两个重要要素：相关的方向和相关的强度。对于相关的方向很好理解，就是正相关、负相关还是无关。对于问题2，有不同的人产生了不同的 定义相关性强度的思想。

皮尔逊相关系数

皮尔逊相关系数全称为：皮尔逊积矩相关系数(Pearson product-moment correlation coefficient).该系数广泛用于度量两个变量之间的相关程度。它是由卡尔·皮尔逊从弗朗西斯·高尔顿在19世纪80年代提出的一个相似却又稍有不同的想法演变而来.定义的公式如下：

下面通过Matlab代码来计算身高和体重的pearson系数：

function  coeff = pearsoncoeff(x,y)