[Spark基础]-- 获取前3个最大值

一、文本内容

3
5
6
7
1
4
5
6
9
0
3

二、代码实现

package com.scala



import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.HashPartitioner
/**
 * scala实现获取单列数据的前3个最高值
 * 
 * top three number is 9
    top three number is 7
    top three number is 6
 */
object TopN {
  
  def main(args:Array[String]):Unit={
    //获取conf,context
    val conf=new SparkConf().setAppName("TopN").setMaster("local[1]")
    val sc=new SparkContext(conf)
    
    //读取到RDD内存中
    val lines=sc.textFile("top.txt")
    //可以自定义，重新分区
//    lines.repartition(3)
    //开始转换行为元组
    val tuples=lines.map( x=>(x.toInt ,x))
//    tuples.partitions(new HashPartitioner(3))  存在问题
    //排序（根据key降序排序）
    val sorts=tuples.sortBy(x =>x._1 ,false)
    //获取元祖中的value的值,返回一个listRDD
    val  resu