spark统及文件中单词数

统计文档中单词数

def main(args: Array[String]): Unit = {
    val conf= {
      new SparkConf().setMaster("local").setAppName("Top")
    }
    val sc=new SparkContext(conf)

    val rdd=sc.textFile("D:\\word.txt")
    val rdd_r=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+y).top(3)

    rdd_r.foreach(println)  //spark循坏的方法，循坏每一个结果

  }