第20课： SPARK分组TOPN 算法（Scala）必须掌握！

最新推荐文章于 2024-08-13 16:48:41 发布

段智华

最新推荐文章于 2024-08-13 16:48:41 发布

阅读量5.9k

点赞数 2

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/50815250

版权

1、输入文件

Spark,100
Hadoop,62
Flink,77
Kafka,91
Hadoop,93
Spark,78
Hadoop,69
Spark,98
Hadoop,62
Spark,99
Hadoop,61
Spark,70
Hadoop,75
Spark,88
Hadoop,68
Spark,90
Hadoop,61

2、运行结果

Flink:
77
Hadoop:
61
61
62
62
68
Kafka:
91
Spark:
70
78
88
90
98

3、源代码

package com.dt.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object TopNGroup {
    def main(args:Array[String]){
      val conf = new SparkConf() //创建SparkConf对象
      conf.setAppName("Wow,TopNGroup App!") //设置应用程序的名称，在程序运行的监控界面可以看到名称
      conf.setMaster("local") //此时，程序在本地运行，不需要安装Spark集群

      val sc = new SparkContext(conf) //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
      sc.setLogLevel("WARN")
      val lines = sc.textFile("G://IMFBigDataSpark2016//tesdata//topNGroup1.txt", 1) //读取本地文件并设置为一个Partion

       val pairs=lines.map { line => (line.split(",")(0),line.split(",")(1).toInt) }
       val grouped=pairs.groupByKey
        val groupedTop5=grouped.map(grouped=>
      {
        (grouped._1,grouped._2.toList.sortWith(_<_).take(5))
      })
        val groupedKeySorted=groupedTop5.sortByKey()

      groupedKeySorted.collect().foreach(pair=>{
      println(pair._1+":")
      pair._2.foreach { println }
       })
    sc.stop()

}
}