[Spark基础]-- 获取前3个最大值

最新推荐文章于 2022-10-31 17:40:06 发布

往事随风ing

最新推荐文章于 2022-10-31 17:40:06 发布

阅读量8.8k

点赞数 1

分类专栏： Spark 文章标签： spark scala

本文链接：https://blog.csdn.net/high2011/article/details/51584865

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Spark中如何获取前三个最大值，包括文本内容的阐述和具体的代码实现，同时提供了一个外部链接，指向CSDN上的一篇详细教程。

摘要由CSDN通过智能技术生成

一、文本内容

二、代码实现

package com.scala



import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.HashPartitioner
/**
 * scala实现获取单列数据的前3个最高值
 * 
 * top three number is 9
    top three number is 7
    top three number is 6
 */
object TopN {
  
  def main(args:Array[String]):Unit={
    //获取conf,context
    val conf=new SparkConf().setAppName("TopN").setMaster("local[1]")
    val sc=new SparkContext(conf)
    
    //读取到RDD内存中
    val lines=sc.textFile("top.txt")
    //可以自定义，重新分区
//    lines.repartition(3)
    //开始转换行为元组
    val tuples=lines.map( x=>(x.