机器学习spark ml提取文章关键词特征并聚类word2Vec+KMeans

 1.取英文文章数据，训练成模型，就是特征向量，用word2Vec。

 2.然后用这个模型，去将新数据，或者老数据进行分类。

 3.效果非常好的话，会形成类似：体育、游戏、生活、艺术等类别。

 4.所用为最新的spark ml，不是mllib。

 5.中间可以自己加一些去除停用词，结果优化，格式化输出等。

    val conf = new SparkConf().setMaster("local[2]").setAppName("word2vec_test03")
    var sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val path = "D:\\part-00000"
    val rdd = sc.textFile(path)
//    import scala.collection.JavaConverters._
//    val stopWords = sc.textFile("stop_words_eng.txt").collect().toSeq.asJava
//    val filter = new StopRecognition().insertStopWords(stopWords)
//    filter.insertStopNatures("w", null, "null")

    val splitWordRdd = rdd.map(_.split(",")).filter(_.size>1).map(x => {
      (x(0), x(1))
    })
    //splitWordRdd.foreac