使用 scala 实现单机版 WordCount

1、定义一个list,这个list里面模拟一行一行的文本数据

val lines = List("hello aa bb cc ", "hello dd ee ff aa ", "hello kk hh jj")

2、用map函数对lines按照空格进行切割

val lineword = lines.map(_.split(" "))

3、用flatten函数对lineword进行“压平”

val words = lineword.flatten

4、还可以把2、3合为一步,使用flatMap函数

val words = lines.flatMap(_.split(" "))

结果

words：List[String] = List(hello ,aa, bb, cc , hello, dd, ee, ff, aa , hello, kk, hh, jj)

5、words中的每个单词都计数为 1 。

val wordAndOne = words.map(( _  , 1 ))

结果

wordAndOne: List[(String,Int)] = List((hello,1),(aa,1),(bb,1),(cc,1),(hello,1),(dd,1),(ee,1),(ff,1),(aa,1),(hello,1),(kk,1),(hh,1),(jj,1),())

6、分组，将相同的单词放到一起，使用函数groupBy

val grouped = wordAndOne.groupBy( **_._1**)

结果是一个map，里面是一对对的对偶元组，key -> value 的形式。

grouped: scala.collection.immutable.Map[String,List[(String, Int)]] = 
Map(cc -> List((cc,1)), 
    hello -> List((hello,1), (hello,1), (hello,1)), 
    aa -> List((aa,1), (aa,1)), 
    ee -> List((ee,1)), 
    hh -> List((hh,1)), 
    jj -> List((jj,1)), 
   )

7、统计单词个数：把map里面每个对偶元组的key 和 value.size取出来即可达到目的。

val res = grouped.map(t => (t._1,t._2.size))

结果

res: scala.collection.immutable.Map[String,Int] = 
Map(cc -> 1, 
    hello -> 3, 
    bb -> 1, 
    ee -> 1, 
    ff -> 1, 
    hh -> 1, 
    kk -> 1, 
    jj -> 1, 
    dd -> 1)

8、按照单词出现的次数，从高到低排序

val finalRes = res.toList.sortBy(_._2).reverse

结果

finalRes: List[(String, Int)] = 
List((hello,3), 
     (aa,2), 
     (jj,1), 
     (hh,1), 
     (ee,1), 
     (cc,1))

9、终极写法，一句搞定！！！

val res = lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t => (t._1,t._2.size)).toList.sortBy(_._2).reverse