数据
I love Beijing
I love China
Beijing is the capital of China
执行
在spark shell 中
sc.textFile("hdfs://192.168.198.111:9000/input.txt").
flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.198.111:9000/output")
执行 sc.textFile(“hdfs://192.168.198.111:9000/input.txt”)时候,从源码可以看到会返回一个HadoopRDD[K,V] 算子 K是偏移量,V是对应的值。然后会执行map 方法返回一个MapPartitionsRDD[U, T] 执行map 算子得到每一行的数据。
flatMap(_.split(” “)) 先把每一行数据分割,然后把分割后的数据全部合并到一个数组中。
map((_,1))对上一步RDD中的单词记一次数,返回一个元组。
reduceByKey(+) 把元组按照key进行分组,+ 把聚合后的value进行累加,最后保存到hdfs中。