AchieveMA的博客

原创 Spark sql实现Spearman系数和pearson系数计算

目前广泛向通过算法模型来实现spark能力Spark提供了常用机器学习算法的实现， 封装在spark.ml和spark.mllib中，spark.mllib是基于RDD的机器学习库， spark.ml是基于DataFrame的机器学习库。相对于RDD， DataFrame拥有更丰富的操作API, 可以进行更灵活的操作 目前, spark.ml已经进入维护状态， 不再添加新特性。Spark ml中，提供了spearman、pearson系数计算的能力。测试案例：运行结果：通过截图，我们可以看到通过Sta