changshupx的博客

spark的WordCount原理:数据流分析：textFile(“in”)：读取本地文件input文件夹数据；flatMap(.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词；map((,1))：对每一个元素操作，将单词映射为元组；reduceByKey(+)：按照key将值进行聚合，相加；collect：将数据收集到Driver端展示。package day0904import org.apache.spark.rdd.RDDimport org.apa