人工智能初学--spark机器学习

what is spark？

spark是一种对大规模数据集进行处理的快速而公用的计算引擎。

 

spark据用四大特性，高效，简单易用，通用性，以及可以运行在任何地方。

 

spark提供了核心抽象，即RDD，RDD是一种集群节点数据的集合，提供了并行操作的API

 

what is SparkMlib?

 

Mlib基于Spark的一种机器学习库，目标是提供一个简单易用，扩展性强的机器学习库，主要包括常用的算法和工具类，包括分类，回归，聚类，协作过滤，降维，以及低级别的优化原语以及高级管道API

Mlib包括spark.mlib和spark.ml两种不同的package，其中，spark.mlib基于RDD，属于低级别的api，而spark.ml基于dataFrame，是一种高层次的api。

附：聚类算法：

https://blog.csdn.net/Katherine_hsr/article/details/79382249

https://blog.csdn.net/mrgeroge/article/details/78738053