今晚做了一些聚类，写下类，以后可以参考

最新推荐文章于 2023-02-13 15:18:33 发布

ASD991936157

最新推荐文章于 2023-02-13 15:18:33 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/ASD991936157/article/details/52215398

版权

本文记录了使用Python生成数据，并通过Spark进行聚类分析的过程。最后，利用Jackson将结果转换为Python可读的格式，为后续分析提供便利。

摘要由CSDN通过智能技术生成

第一步，用python生成数据：

import numpy as np
from sklearn.datasets import make_blobs

features, labels = make_blobs(n_samples=2000, n_features=100, centers=10)
labels = labels.reshape((len(labels), -1))
data = np.hstack((labels, features))
np.savetxt('/home/fhqplzj/IdeaProjects/DocumentClustering/target/blobs/features.txt', data, delimiter=' ')

一共2000个样本点，100维特征，10个类簇。

第二步，用spark进行聚类：

import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.sql.{SaveMode, SparkSession}
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by fhqplzj on 16-8-15 at 下午6:33.
  */
object Parser {
  val path = "/home/fhqplzj/IdeaProjects/DocumentClustering/target/blobs/features.txt"

  def main(args: Array[String]): Unit = {