Spark优化操作_自定义groupby

最新推荐文章于 2024-05-07 19:27:04 发布

willyan2007

最新推荐文章于 2024-05-07 19:27:04 发布

阅读量3k

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/willyan2007/article/details/78875461

版权

Spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

groupby或者groupbyKey算子效率太低，自己重写了一下。

//用combineByKey替代groupBy
val home_data_combine: RDD[(String, List[home_info])] = phone_date_key_data.
  map(home => (home.phone_date, home)).
  partitionBy(new org.apache.spark.HashPartitioner(1000)).
  combineByKey((x: home_info) => List(x),
    (curlist: List[home_info], x: home_info) => x :: curlist,
    (curlist1: List[home_info], curlist2: List[home_info]) => curlist1 ::: curlist2)

大家都应该了解，reduceByKey的效率会比groupbyKey高很多，但你就是要实现一个聚合的过程，并不需要reduce，就需要用groupby或者groupbyKey，但他们的效率太低了。需要自己实现一个。此处combineByKey来实现聚合的过程。
实现说明：
1.先做partitionBy
2.调用combineByKey，在每个partition内用list实现聚合
要充分理解的combineByKey实现过程，如上过程就会比较了解了。