scala 实现topN算法

topN算法
基础topN
分组topN


--基础topN

--aaa.txt
4
2
5
9
7
1
6
4
7

把这些字符转换成map(x=>(x.toInt,x))，利用int类型的比较进行排序。

package com.lhj.www

import org.apache.spark.{SparkContext, SparkConf}

object Test {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("my app!!!").setMaster("local")
    val sc = new SparkContext(conf)

    val tmp = sc.textFile("aaa.txt").map(x=>(x.toInt,x)).sortByKey(false).map(x=>x._2)
    tmp.collect().foreach(println)
  }
}

--结果：

9
7
7
6
5
4
4
2
1


--分组topN

--aaa.txt
spark 99
hadoop 66
spark 91
hadoop 70
spark 98
hadoop 67
spark 97
hadoop 65
spark 98
hadoop 66



数字先转成int类型，然后做groupByKey，转换成 (hadoop,CompactBuffer(66, 70, 67, 65, 66))，在将后者转换成数组，用sortWith比较数组内部的元素


package com.lhj.www

import org.apache.spark.{SparkContext, SparkConf}

object Test {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("my app!!!").setMaster("local")
    val sc = new SparkContext(conf)

    val tmp = sc.textFile("aaa.txt").map(x=>(x.split(" ")(0),x.split(" ")(1).toInt)).groupByKey()
//    (spark,CompactBuffer(99, 91, 98, 97, 98))
//    (hadoop,CompactBuffer(66, 70, 67, 65, 66))

    val tmp1=tmp.map(x=>(x._1,x._2.toList.sortWith(_>_).take(5))).sortByKey()
//    (hadoop,List(70, 67, 66, 66, 65))
//    (spark,List(99, 98, 98, 97, 91))

    tmp1.collect().foreach(x=>{
      println(x._1)
      x._2.foreach(println)
    })
  }
}


--------------------------------
hadoop
70
67
66
66
65
spark
99
98
98
97
91