spark09-wordcount程序执行原理

小朋友,你是否有很多问号?

于 2023-02-23 12:48:45 发布

阅读量348

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/oracle8090/article/details/129176086

版权

spark 专栏收录该内容

12 篇文章

订阅专栏

该文章详细介绍了Spark编程中创建配置，读取文件，使用flatMap进行单词拆分，reduceByKey进行词频统计的过程，并提到了任务调度的两种方式：FIFO和公平调度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

val conf: SparkConf = new SparkConf().setMaster("local").setAppName("wordcount")
val context: SparkContext = new SparkContext(conf)
val file: RDD[String] = context.textFile("datas")
val wordcount: RDD[(String, Int)] = file.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
wordcount.collect().foreach(println(_))
context.stop()