spark mllib初探练习

spark mllib是基于spark core的机器学习库。

     我们首先用mllib跑一个简单的KMeans的例子（来自官方网站）。

     KMeans是一个无监督学习问题，我们基于一些相似性将点集聚类在一起。KMeans常用于探索性分析，或者作为分级监督学习管道的一个组件。KMeans实现的是这篇论文的变种：http://theory.stanford.edu/~sergei/papers/vldb12-kmpar.pdf，mllib中的参数有：

     

     k：聚成多少类

     maxIterations：最大的迭代次数

     initializationMode：随机初始化或者KMeans||初始化

     runs：跑多次KMeans算法，然后选出最好的

     initializationSteps：决定KMeans||算法的步骤数

     epsilon：收敛的distance

     下面是用spark-shell可以执行的一段代码：

        import org.apache.spark.mllib.clustering.KMeans

     import org.apache.spark.mllib.linalg.Vectors

     // Load and parse the data

     val data = sc.textFile("data/kmeans_data.txt")

     val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble)))

     // Cluster the data into two classes using KMeans

     val numClusters = 2

     val numIterations = 20

     val clusters = KMeans.train(parsedData, numClusters, numIterations)

     // Evaluate clustering by computing Within Set Sum of Squared Errors

     val WSSSE = clusters.computeCost(parsedData)

     println("Within Set Sum of Squared Errors = " + WSSSE)