Spark核心之top、take和takeOrdered

最新推荐文章于 2024-07-17 23:05:08 发布

LMRzero

最新推荐文章于 2024-07-17 23:05:08 发布

阅读量1.4w

点赞数 1

分类专栏： Spark 文章标签： Spark take top takeOrdered

本文链接：https://blog.csdn.net/qq_16669583/article/details/90738109

版权

Spark 专栏收录该内容

41 篇文章

订阅专栏

本文详细解析了Spark中的top、take和takeOrdered三种Action算子的功能与使用场景，特别是它们在处理大规模数据集时如何帮助展示数据。通过具体示例说明了这些算子如何返回数据集中最大或最小的k个元素，并分享了实践中的常见问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

top、take和takeOrdered三种算子都是Spark中的Action操作，当原始数据集太大时，可以采用上述三个算子展示数据，下面分别介绍三个算子：

（1）takeOrdered算子

takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

关于top算子在源码中的解释如下：

 /**
   * Returns the first k (smallest) elements from this RDD as defined by the specified
   * implicit Ordering[T] and maintains the ordering. This does the opposite of [[top]].
   * For example:
   * {{{
   *   sc.parallelize(Seq(10, 4, 2, 12, 3)).takeOrdered(1)
   *   // returns Array(2)
   *
   *   sc.parallelize(Seq(2, 3, 4, 5, 6)).takeOrdered(2)
   *   // returns Array(2, 3)
   * }}}
   **/

该算子返回RDD中最小的k个元素，其中排序规则用户可以自定义ord。

（2）top算子

top(num: Int)(implicit ord: Ordering[T]): Array[T]

top算子是与takeOrdered算子的相反的操作，该算子返回RDD中的最大的k个元素

查看top源码可以知道，top方法本身是调用了takeOrdered：

 def top(num: Int)(implicit ord: Ordering[T]): Array[T] = withScope {
    takeOrdered(num)(ord.reverse)
  }

（3）take算子

take(num: Int): Array[T]

take算子获取RDD中的前num个元素。

/**
 * Take the first num elements of the RDD. It works by first scanning one partition, and use the
 * results from that partition to estimate the number of additional partitions needed to satisfy
 * the limit.
 */

---------------------------------------------------------------------------个人实践中遇到的问题----------------------------------------

之所以写这篇博客，是因为自己在使用top和take的过程中遇到了一点问题：

 val reduceRdd: RDD[(String, Double)] = mapRdd.reduceByKey(_+_)
 val sortRdd: RDD[(String, Double)] = reduceRdd.sortBy(_._2,false)
 val result: Array[(String, Double)] = sortRdd.take(10)

在上述代码中，我是想获得排序后的前10个元素（即Value最大的前10个元素），使用take即可获得答案；我一开始使用的是top(10)，但返回的结果是按照Key排序取出的前10个，应该是默认按照key排序。