what is spark?
spark是一种对大规模数据集进行处理的快速而公用的计算引擎。
spark据用四大特性,高效,简单易用,通用性,以及可以运行在任何地方。
spark提供了核心抽象,即RDD,RDD是一种集群节点数据的集合,提供了并行操作的API
what is SparkMlib?
Mlib基于Spark的一种机器学习库,目标是提供一个简单易用,扩展性强的机器学习库,主要包括常用的算法和工具类,包括分类,回归,聚类,协作过滤,降维,以及低级别的优化原语以及高级管道API
Mlib包括spark.mlib和spark.ml两种不同的package,其中,spark.mlib基于RDD,属于低级别的api,而spark.ml基于dataFrame,是一种高层次的api。
附:聚类算法:
https://blog.csdn.net/Katherine_hsr/article/details/79382249
https://blog.csdn.net/mrgeroge/article/details/78738053