1.取英文文章数据,训练成模型,就是特征向量,用word2Vec。
2.然后用这个模型,去将新数据,或者老数据进行分类。
3.效果非常好的话,会形成类似:体育、游戏、生活、艺术等类别。
4.所用为最新的spark ml,不是mllib。
5.中间可以自己加一些去除停用词,结果优化,格式化输出等。
val conf = new SparkConf().setMaster("local[2]").setAppName("word2vec_test03")
var sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
val path = "D:\\part-00000"
val rdd = sc.textFile(path)
// import scala.collection.JavaConverters._
// val stopWords = sc.textFile("stop_words_eng.txt").collect().toSeq.asJava
// val filter = new StopRecognition().insertStopWords(stopWords)
// filter.insertStopNatures("w", null, "null")
val splitWordRdd = rdd.map(_.split(",")).filter(_.size>1).map(x => {
(x(0), x(1))
})
//splitWordRdd.foreac