sparka 实现简单排序

topN算法

基础topN

分组topN

 

 

--基础topN

 

--aaa.txt

4

2

5

9

7

1

6

4

7

 

把这些字符转换成map(x=>(x.toInt,x))，利用int类型的比较进行排序。

 

package com.lhj.www

 

import org.apache.spark.{SparkContext, SparkConf}

 

object Test {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("my app!!!").setMaster("local")

    val sc = new SparkContext(conf)

 

    val tmp = sc.textFile("aaa.txt").map(x=>(x.toInt,x)).sortByKey(false).map(x=>x._2)

    tmp.collect().foreach(println)

  }

}

 

--结果：

 

9

7

7

6

5

4

4

2

1

 

 

--分组topN

 

--aaa.txt

spark 99

hadoop 66

spark 91

hadoop 70

spark 98

hadoop 67

spark 97

hadoop 65

spark 98

hadoop 66

 

 

 

数字先转成int类型，然后做groupByKey，转换成 (hadoop,CompactBuffer(66, 70, 67, 65, 66))，在将后者转换成数组，用sortWith比较数组内部的元素

 

 

package com.lhj.www

 

import org.apache.spark.{SparkContext, SparkConf}

 

object Test {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("my app!!!").setMaster("local")

    val sc = new SparkContext(conf)

 

    val tmp = sc.textFile("aaa.txt").map(x=>(x.split(" ")(0),x.split(" ")(1).toInt)).groupByKey()

//    (spark,CompactBuffer(99, 91, 98, 97, 98))

//    (hadoop,CompactBuffer(66, 70, 67, 65, 66))

 

    val tmp1=tmp.map(x=>(x._1,x._2.toList.sortWith(_>_).take(5))).sortByKey()

//    (hadoop,List(70, 67, 66, 66, 65))

//    (spark,List(99, 98, 98, 97, 91))

 

    tmp1.collect().foreach(x=>{

      println(x._1)

      x._2.foreach(println)

    })

  }

}

 

 

--------------------------------

hadoop

70

67

66

66

65

spark

99

98

98

97

91