spark：第一次接触聚类分析Kmeans算法--16

最新推荐文章于 2022-09-01 15:35:12 发布

一流小风一

最新推荐文章于 2022-09-01 15:35:12 发布

阅读量1k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/fenger1943/article/details/44598595

版权

本文主要介绍了Spark中的KMeans聚类算法，作为初次接触这一概念的入门指南。通过实例展示了如何使用机械语言进行数据处理，并利用KMeans进行有效的群组划分。

摘要由CSDN通过智能技术生成

机械语言 kmeans算法

package akria

import org.apache.log4j.{Logger, Level}
import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.{SparkContext, SparkConf}


/**
 * Created by sendoh on 2015/3/24.
 */
object Kmeans {
  def main(args: Array[String]): Unit ={
    //屏蔽不必要的日志显示在终端上
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
    //设置运行环境
    val conf = new SparkConf().setAppName("Kmeans").setMaster("local[4]")
    val sc = new SparkContext(conf)
    //装载数据类
    val data = sc.textFile("/datatnt/Kmeans_data.txt", 1)
    val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble)))
    //将数据集聚类，2个类，20次迭代，形成数据模型
    val numClusters = 2
    val numIterations = 20
    val model =