关于Scala的WordCount

定义一个集合模拟读到的数据
val line = List(“hello tom hello jack”,“hello rose hello jerry”)

对数据进行(根据空格)切割
line.map(＿.split(" “))

对切割后的数据进行flatten压平
res0.flatten

上面的切割和压平操作也可以有flatMap一步操作替代
val words = line.flatMap(＿.split(” “))

然后对集合中的每一个单词进行赋值1的操作(有一个单词,就赋值为1,暂且先不管单词是否一样)
val wordAndCount = words.map((＿,1))

根据单词先进行分组
val grouped = wordAndCount.groupBy(＿.＿1)


计算最终的结果(这里要分析一下,分好组后,我们要呈现出的形式应该是(tom,1)(jack,1)(hello,4)…要怎样计算出每个单词出现的次数,这里我们只要分组后Map集合中的每一个元素的第一个即为单词,然后拿到每一个元素的第二个也就是List集合的长度即为单词出现的次数)这里需要一个函数来进行计算
val result = grouped.map(t =>(t.＿1,t.＿2.size))

连起来一句写完
var result = line.flatMap(＿.split(” “)).map((＿,1)).groupBy(＿.＿1).map(t =>(t.＿1,t.＿2.size))

这样看起来有点乱糟糟的,来进行一下排序
var result = line.flatMap(＿.split(” “)).map((＿,1)).groupBy(＿.＿1).map(t =>(t.＿1,t.＿2.size)).toList.sortBy(＿.＿2)
var result = line.flatMap(＿.split(” ")).map((＿,1)).groupBy(＿.＿1).map(t =>(t.＿1,t.＿2.size)).toList.sortBy(＿.＿2).reverse

在Scala中封装有关于wordCount的方法
grouped.mapValues(＿.size)
grouped.mapValues(＿.size).toList.sortBy(＿.＿2)
grouped.mapValues(＿.size).toList.sortBy(＿.＿2).reverse