another blog fffffff

目前Spark中只提供了皮尔森chi平方距离检测法（Pearson’s chi-squared ( χ2) ），也称卡方检验，它由统计学家皮尔逊推导。理论证明，实际观察次数（fo）与理论次数（fe）之差的平方再除以理论次数所得的统计量，近似服从卡方分布。卡方检验的两个主要应用：拟合性检验和独立性检验，拟合性检验是用于分析实际次数与理论次数是否相同，适用于单个因素分类的计数数据。独立性检验用于分析各有多项分类的两个或两个以上的因素之间是否有关联或是否独立的问题（参见 http://en.wikipedia.org/wiki/Chi-squared_test ）。在Spark中，拟合度检验要求输入为Vector, 独立性检验要求输入是Matrix，另外还支持RDD[LabeledPoint]的独立性检验。