利用Scala简单实现WordCount代码
val line = List("hello tom hello jerry","hello xiaobai hello","hello tom")
val strings: List[String] = line.flatMap(_.split(" "))
println(strings)
/***下划线的用法在前面文章提到过
* 对其进行分割 flatMap其实就是flatten和Map方法的结合在对其进行遍历分割后,
* 接着进行数据扁平化处理,相当于下面这行代码
* val words: List[Array[String]] = line.map(_.split(" "))
* val flatten: List[String] = words.flatten
* println(flatten)
*/
val tuples: List[(String, Int)] = strings.map((_,1))
println(tuples)//形成对偶元组,类似键值对形式
val Tuples: Map[String, List[(String, Int)]] = tuples.groupBy(_._1)
println(Tuples)//将相同单词进行分组 返回值是一个Map集合
val sum: Map[String, Int] = Tuples.mapValues(_.size)
println(sum)//我们可以根据单词的Size直接求单词的总个数
//mapValues是处理Map集合中value的值,只操作value,原则是对应key的value值,
// 返回值是一个 Map[key是原有的可以,value是计算结果之后的value]
val list2: List[(String, Int)] = sum.toList
println(list2)
val sorted1: List[(String, Int)] = list2.sortBy(_._2)
println(sorted1.reverse)//根据每个单词出现的个数进行排序,并反转得到升序序列
//简化版,在实际应用中我们用法只需一行语句
/**
* line.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.size).toList.sortBy(_._2).reverse
*如果我们只想得到前TopN个数据的时候我们可以再加一个方法 sorted1 take N
* 就可以得到前n个数据
*/