![3863698ee249945afe193b09310957c0.png](https://i-blog.csdnimg.cn/blog_migrate/076ea0c8b0e7f0e9c3c3a94aa86028db.jpeg)
一、KMeans聚类算法原理
KMeans算法的基本思想是物以类聚,人以群分。做法比较简单,初始化随机给定的
这里只需要计算每一个点,到每个聚类中心的距离,把这个点划分到最小距离的那个簇类中,很容易就完成了第一轮计算;然后,计算每个簇类所有点的坐标平均值,作为新的中心点。好,这就是完整的一轮,剩下的就是迭代计算了~
看了原理,就感觉KMeans真的很简单啊。从图中可以看到,这个
![a73cd8119fe06de14861355344d2bfd0.png](https://i-blog.csdnimg.cn/blog_migrate/ed8174146ed8c89ce2e20cfc920a81b7.jpeg)
二、KMeans聚类算法实战
- 下载地址:github机器学习数据集
- 里面就6行,我扩充一下
![20d4948596f29ea77e8ce1684b4babf4.png](https://i-blog.csdnimg.cn/blog_migrate/169a60445a862b902588596f43f2f453.png)
数据分成2类,前三个是一类,后三个是一类~
![afa2d19d56d1ab8f378114c6167a4e1e.png](https://i-blog.csdnimg.cn/blog_migrate/c9739a4689db79a22539d574fd77eff2.png)
import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.mllib.classification.{LogisticRegressionWithLBFGS, NaiveBayes, NaiveBayesModel, SVMWithSGD}
import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.spark.mllib.util.{KMeansDataGenerator, LinearDataGenerator, LogisticRegressionDataGenerator, MLUtils}
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD}
import org.apache.spark.mllib.tree.DecisionTree
//向量
import org.apache.spark.mllib.linalg.Vector
//向量集
import org.apache.spark.mllib.linalg.Vectors
//稀疏向量
import org.apache.spark.mllib.linalg.SparseVector
//稠密向量
import org.apache.spark.mllib.linalg.DenseVector
//实例
import org.apache.spark.mllib.stat.{MultivariateStatisticalSummary, Statistics}
//矩阵
import org.apache.spark.mllib.linalg.{Matrix, Matrices}
//索引矩阵
import org.apache.spark.mllib.linalg.distributed.RowMatrix
//RDD
import org.apache.spark.rdd.RDD
object WordCount {
def main(args: Array[String]) {
// 构建Spark 对象
Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
val conf = new SparkConf().setAppName("HACK-AILX10").setMaster("local")
val sc = new SparkContext(conf)
// 读取样本数据
val datapath = "C:studysparkkmeans_data.txt"
val data = sc.textFile(datapath)
val parsedData = data.map(s=>Vectors.dense(s.split(" ").map(_.toDouble))).cache()
//KMeans,并设置训练参数
val model = new KMeans()
.setInitializationMode("k-means||")
.setK(2)
.setMaxIterations(20)
.run(parsedData)
//对样本进行测试
// model.clusterCenters.foreach(println(_))
model.predict(parsedData).collect().foreach(println(_))
//计算测试误差
val wssse = model.computeCost(parsedData)
println("平均误差:"+wssse)
// 模型保存
val modelpath = "C:studysparkkmeans"
model.save(sc,modelpath)
println("模型保存 ok")
}
}
本篇完~