Spark机器学习-Java版（二）-相关系数和假设检验

1、相关系数和假设校验概述

    相关系数和假设检验是数理统计中的基本概念和统计工具,对于机器学习模型的设定和优化策略有很大帮助。

1.1 相关系数

    相关系数是反映两变量间线性相关性关系的統计指标,是一种反映变量之间相关关系密切程度的统计指标,在现实中一般用于对于两组数据的拟合和相似程度进行定量化分析,第用的般是皮尔逊相关系数( pearson),MLlib中默认的相关系数求法也是皮尔逊相关系数法,另还支持斯皮尔曼等级相关系数( spearman)。皮尔逊相关系的值是一个1≤ρxy≤1的数,用以判定两个变量变化是同向还是反向,以便观察这两个变量是呈现正相关还是负相关,甚至为0时的”相互独立”,其数学公式为：

即两变量的协方差除以其标准差,极大程度上规避了单用协方差无法体现相关性的劣势。
斯皮尔曼等级相关系数的公式如下:

 

该相关系数没有皮尔逊那么严格。
皮尔逊相关系数代表随着数据量的増加,两组数据的差别将増大,而斯皮尔曼相关系数更注重两组数据的拟合程度,即两组数据随着数据量的増加而増长曲线不变。

1.2  假设校验

    假设检验是一种依据一定假设条件计算样本某种并判断是否符合总体规律,或判断两个样本之间是否存在独立性的统计学理论。假设检验的基本思想是小概率反证法思想,小概率思想认为小概率事件在一次实验中基本不可能发生,因此在假设检验中,我们通常先假定一个假设Ho,然后选择它的相反项为螽择假设H1,通常以α=005作为小概率事件的界定线,称之为显著性水平,通过我们的样本数据计算出一个概率值p,如果p≤0.05,那么认为H0是会发生的,也就是说H0的发生是小概率事件，也就是认为当p ≤ 0.05时,否定原假设H0
    常用的假设检验法有T检验,z检验,卡方检验和F检验。
   卡方检验的一种常用的假设检验方法, Spark MLlib目前支持皮尔逊卡方检测,包括“适配度检定”( Goodness of fit)和“独立性检定"( independence)。其中适配度检定是指样本的发生次数（实际值）分配是否服从母体的次数分配（期望），独立性检定偏向于两类变量之间的关系是否居于相关性。
   适配度检定举例：全世界上千万人统计人类出生时男孩和女孩的几率是一样的，某