spark wordcount函数解析

sc.textFile("hdfs://sniper5:9000/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortByKey().collect
sc.textFile("hdfs://sniper5:9000/hello.txt").flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().collect

textFile：获得数据

flatMap（_.split("\\s")）：对集合中的每个元素按空格切词，每个元素切词后形成子集合，然后将各个子集合元素平铺成一个集合

map(x=>(x,1))：将每个元素转换成元组    比如a变成(a, 1)， b变成(b, 1)

reduceByKey(_+_)：按照key做reduce，将key对应的所有值相加

collect：输出

转载于:https://my.oschina.net/sniperLi/blog/532463