rdd -- topK

最新推荐文章于 2023-06-05 09:04:54 发布

游九河

最新推荐文章于 2023-06-05 09:04:54 发布

阅读量1.6k

点赞数

分类专栏： spark core 文章标签： spark topk rdd

本文链接：https://blog.csdn.net/qq_40337206/article/details/90025394

版权

spark core 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

需求

对100万条在0~1000万之间的数据取 TopK
输入数据：
8995149,5191755,2093544,9816608,4360204,5507730,1289204,6166586,8955325,9567003,
8264570,5202810,5353570,279129,9281133,6205171,5684360,1666876,4727056,2383250,
9176282,2815703,5145176,7514591,8648912,4633139,4176111,8954834,1702148,7978927,
…

最小堆

最小堆，是一种经过排序的完全二叉树，其中任一非终端节点的数据值均不大于其左子节点和右子节点的值。

最大堆

最大堆要求根节点的数据值既大于或等于左子树的数据值，又大于或等于右子树的数据值。
图片来自百度

求topk：最简单版

在每个mapPartition中建一个包含K个元素的数组，添加元素时，都和数组中最小/最大的元素比较，大于/小于就替换。缺点：速度慢。时间复杂度：O(n*K)

求topk：改进版

在每个mapPartition中建一个包含K个元素的最小堆/最大堆，添加元素时，都和数组中堆顶的元素比较，大于/小于就添加。时间复杂度：O(n*logK)，最大topk使用最小堆，最小topk使用最大堆。

最大1000个元素的spark代码实现

object TopK {
  val K = 1000

  def mapPartitionFunc(iterator: Iterator[Int]): Iterator[Int] = {
    val minHeap = new PriorityQueue[Int](K)
    while (iterator.hasNext) {
      val next = iterator.next()
      if (!minHeap.isEmpty) {
        val head = minHeap.peek()
        if (minHeap.size < K || next >= head) {
          minHeap.offer(next)
        }
        if (minHeap.size > K) {
          minHeap.poll()
        }
      } else {
        minHeap.offer(next)
      }
    }
    val arr = minHeap.iterator()
    val list = ListBuffer[Int]()
    while (arr.hasNext) {
      list.+=(arr.next())
    }
    list.iterator
  }

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[4]").appName("topK").getOrCreate()
    val sc = spark.sparkContext
    val rdd = sc.textFile("./data")
    val data = rdd.flatMap(x => x.split(",")).map(x => x.toInt).mapPartitions(mapPartitionFunc).repartition(1).mapPartitions(mapPartitionFunc)
    data.collect().foreach(println)
  }
}

结果

游九河

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
rdd -- topK

需求对100万条在0~1000万之间的数据取 TopK输入数据：8995149,5191755,2093544,9816608,4360204,5507730,1289204,6166586,8955325,9567003,8264570,5202810,5353570,279129,9281133,6205171,5684360,1666876,4727056,2383250,9176...
复制链接

扫一扫