scala 对大数据量排序求中位数 lookup方法

最新推荐文章于 2024-08-09 16:27:56 发布

power0405hf

最新推荐文章于 2024-08-09 16:27:56 发布

阅读量6.6k

点赞数 1

分类专栏： scala spark 文章标签： scala 中位数 median lookup

本文链接：https://blog.csdn.net/power0405hf/article/details/50465434

版权

本文介绍了如何使用Scala处理大数据量排序，通过sortBy创建有序RDD，结合WithIndex调整顺序。针对偶数个元素的情况，中位数为中间两个数的平均值。重点讲解了lookup方法，它根据键从映射中获取对应的值，例如在给定示例中，lookup用于获取特定索引处的元素。

摘要由CSDN通过智能技术生成

val rdd=sc.makeRDD(Array(1,8,6,4,9,3,76,4))
val sorted = rdd.sortBy(identity).zipWithIndex().map {
  case (v, idx) => (idx, v)
}

val count = sorted.count() 
val median: Double = if (count % 2 == 0) {
  val l = count / 2 - 1
  val r = l + 1
  (sorted