Spark wordcount程序处理过程

数据

I love Beijing
I love China
Beijing is the capital of China

执行

在spark shell 中

sc.textFile("hdfs://192.168.198.111:9000/input.txt").
flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.198.111:9000/output")

执行 sc.textFile(“hdfs://192.168.198.111:9000/input.txt”)时候，从源码可以看到会返回一个HadoopRDD[K,V] 算子 K是偏移量，V是对应的值。然后会执行map 方法返回一个MapPartitionsRDD[U, T] 执行map 算子得到每一行的数据。
flatMap(_.split(” “)) 先把每一行数据分割，然后把分割后的数据全部合并到一个数组中。
map((_,1))对上一步RDD中的单词记一次数，返回一个元组。
reduceByKey(+) 把元组按照key进行分组，+ 把聚合后的value进行累加，最后保存到hdfs中。