Scala实现WordCount,

利用Scala简单实现WordCount代码

val line = List("hello tom hello jerry","hello xiaobai hello","hello tom")

    val strings: List[String] = line.flatMap(_.split(" "))
    println(strings)

    /***下划线的用法在前面文章提到过
     * 对其进行分割 flatMap其实就是flatten和Map方法的结合在对其进行遍历分割后,
     * 接着进行数据扁平化处理,相当于下面这行代码
     * val words: List[Array[String]] = line.map(_.split(" "))
     *  val flatten: List[String] = words.flatten
     *  println(flatten)
     */


    val tuples: List[(String, Int)] = strings.map((_,1))
    println(tuples)//形成对偶元组,类似键值对形式
    val Tuples: Map[String, List[(String, Int)]] = tuples.groupBy(_._1)
    println(Tuples)//将相同单词进行分组 返回值是一个Map集合
    val sum: Map[String, Int] = Tuples.mapValues(_.size)
    println(sum)//我们可以根据单词的Size直接求单词的总个数
    //mapValues是处理Map集合中value的值,只操作value,原则是对应key的value值,
    // 返回值是一个 Map[key是原有的可以,value是计算结果之后的value]
    val list2: List[(String, Int)] = sum.toList
    println(list2)
    val sorted1: List[(String, Int)] = list2.sortBy(_._2)
    println(sorted1.reverse)//根据每个单词出现的个数进行排序,并反转得到升序序列

    //简化版,在实际应用中我们用法只需一行语句
    /**
     * line.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.size).toList.sortBy(_._2).reverse
     *如果我们只想得到前TopN个数据的时候我们可以再加一个方法 sorted1 take N
     * 就可以得到前n个数据
     */




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值