package main.scala.com.spark.demo.com.com.spark.demo
import org.apache.spark.{SparkContext, SparkConf}
object NewWordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("wordCount").setMaster("local")
val sc = new SparkContext(conf)
val rdd = sc.textFile("hdfs://master:9000/data01/words.txt")//your file address
rdd.cache()
rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
//按照 单词出现次数排序
rdd.flatMap(_.split("")).map((_,1)).reduceByKey(_+_).map(e=(e._2,e._1)).sortByKey(false).collect
}
}
(1)rdd.flatMap(_.split(” “))的返回值:
words.txt的文件内容为:
在spark shell中输入 rdd.flatMap(_.split(” “)).collect 看回显
(2)rdd.flatMap(.split(” “)).map((,1))的返回值
我们发现已经将数组中每个元素转换成元组 (hello,1)…
(3)然后reduceBykey后 看结果
(4)按照单词出现次数排序,首先交换 元组顺序,即 (hello,1) 变为 (1,hello)
然后 使用sortByKey(false),指定false按照降序排序
代码为