SparkCore编程（一）-分组取topN

最新推荐文章于 2023-06-25 21:32:24 发布

匿名啊啊啊

最新推荐文章于 2023-06-25 21:32:24 发布

阅读量1.2k

点赞数 1

分类专栏： SparkCore代码编写练习

本文链接：https://blog.csdn.net/qq_41851454/article/details/80341383

版权

本文介绍了如何使用SparkCore进行分组并获取每个组的TopN元素。首先展示了包含数据的文件格式，然后分别给出了Scala和Java两种编程语言的实现代码及其运行结果。

摘要由CSDN通过智能技术生成

1、文件数据

Spark,100
Hadoop,62
Flink,77
Kafka,91
Hadoop,93
Spark,78
Hadoop,69
Spark,98
Hadoop,62
Spark,99
Hadoop,61
Spark,70
Hadoop,75
Spark,88
Hadoop,68
Spark,90
Hadoop,61

2、Scala代码：

package topN

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object GroupTop {
  def main(args: Array[String]): Unit = {

    /**
      * 判断参数的多少
      */

    if (args.length < 2){
      println(
        """
          |topN.GroupTop<inputPath><outputPath>
          |<inputPath> 文件输入目录
          |<outputPath> 输出目录
        """.stripMargin
      )
      System.exit(0)
    }
    /**
      * 接收参数
      */


    val Array(inputPath,outputPath) = args
    /**
      * 初始化程序入口
      */
    val conf = new SparkConf()
    conf.setAppName(s"${this.getClass.getSimpleName}")
    conf.setMaster("local")