Spark-MLlib 学习入门到掌握-VectorIndexer类别特征提取[21]

VectorIndexer：对类别特征进行索引然后将原始特征值转换为索引。索引后的类别特征可以帮助决策树等算法恰当的处理类别型特征，并得到较好结果。

  def VectorIndexerTest(): Unit = {

    import org.apache.spark.ml.feature.VectorIndexer
    val spark: SparkSession = SparkSession.builder().appName("implicits").master("local[2]").getOrCreate()
    val data = spark.read.format("libsvm").load("F:/sparkData/mllib/sample_libsvm_data.txt")

    val indexer = new VectorIndexer()
      .setInputCol("features")
      .setOutputCol("indexed")
      //定义输入输出列和最大类别数为10，某一个特征
      //（即某一列）中多于10个取值视为连续值
      .setMaxCategories(10)

    val indexerModel = indexer.fit(data)

    val categoricalFeatures: Set[Int] = indexerModel.categoryMaps.keys.toSet
    println(s"Chose ${categoricalFeatures.size} " +
      s"categorical features: ${categoricalFeatures.mkString(", ")}")

    // 创建新的“索引”列，并将分类值转换为索引
    val indexedData = indexerModel.transform(data)
    indexedData.show()
  }