Scala 实现 WordCount 从详解到极简写法

Scala 实现 WordCount 从详解到极简写法

步骤详解

val dataList = List(
      ("Hello Scala", 4), ("Hello Spark", 2)
    )
    //第一步：将list中的每k-v对的key 按空格切分，并且组成新的 k-v组
    val kv_list = dataList.map(kv => kv._1.split(" ").map((_, kv._2)).toList) // .map(v => (v, kv._2)) 简写： map((_, kv._2))
    // 结果：List(List((Hello,4), (Scala,4)), List((Hello,2), (Spark,2)))

    //第二步：将k-v组拍平（把多个小集合，变成一个大集合） 变成 k-v对集合
    val kv_f = kv_list.flatten
    // 结果： List((Hello,4), (Scala,4), (Hello,2), (Spark,2))

    //第三步：将每个k-v对，按k分组
    val kv_group = kv_f.groupBy(_._1) // groupBy(r => r._1) 简写 groupBy(_._1)
    //结果：Map(Hello -> List((Hello,4), (Hello,2)), Spark -> List((Spark,2)), Scala -> List((Scala,4)))

    //第四步：对分类的 的每个组 求和，求出每个key的值
    val kv_value = kv_group.mapValues(_.map(_._2).sum)
    //结果：Map(Hello -> 6, Spark -> 2, Scala -> 4)

    //第五步：排序
    val kv_sort = kv_value.toList.sortBy(_._2)(Ordering Int).reverse
    //结果：List((Hello,6), (Scala,4), (Spark,2))

一把到底

   val dataList = List(
       ("Hello Scala", 4), ("Hello Spark", 2)
       
  dataList.map(kv => kv._1.split(" ").map((_, kv._2)))
      .flatten.groupBy(_._1)
      .mapValues(_.map(_._2).sum).toList
      .sortBy(_._2)(Ordering Int).reverse

更进一步简洁

   val dataList = List(
       ("Hello Scala", 4), ("Hello Spark", 2)
       
  dataList.flatMap(kv => kv._1.split(" ").map((_, kv._2)))
      .groupBy(_._1)
      .mapValues(_.map(_._2).sum).toList
      .sortBy(_._2)(Ordering Int).reverse