Spark手写WordCount Spark手写词频统计-scala语言版本

最新推荐文章于 2024-03-29 07:15:03 发布

小曹变老曹

最新推荐文章于 2024-03-29 07:15:03 发布

阅读量240

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/feichong621/article/details/109830204

版权

Spark 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

简洁版本

val conf: SparkConf =
new SparkConf().setMaster("local[*]").setAppName("WordCount")
val sc = new SparkContext(conf)
sc.textFile("/input")
.flatMap(_.split(" "))
.map((_, 1))
.reduceByKey(_ + _)
.saveAsTextFile("/output")
sc.stop()

详细版本

val conf: SparkConf =
new SparkConf().setMaster("local[*]").setAppName("WordCount")
val sc = new SparkContext(conf)
sc.textFile("/input")
.flatMap(line => line.split("\\s+"))
.map(word => (word,1))
.reduceByKey((tmp,item) => tmp + item)
.saveAsTextFile("/output")
sc.stop()