【菜鸟系列】spark常用算子总结（scala、java）--groupByKey，reduceByKey

最新推荐文章于 2024-07-25 09:26:43 发布

置顶

Java_Soldier

最新推荐文章于 2024-07-25 09:26:43 发布

阅读量4.5k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/Java_Soldier/article/details/80582336

版权

本文介绍了 Spark 中的两种常见聚合操作：groupByKey 和 reduceByKey，详细解析了它们的 Scala 和 Java 实现。文章指出 reduceByKey 在效率上优于 groupByKey，因为它在 shuffle 前进行了分区内聚合。同时，文章还探讨了 combineByKeyWithClassTag 方法，强调了 mapSideCombine 参数对于性能的影响。

摘要由CSDN通过智能技术生成

groupByKey和reduceByKey是常用的聚合函数，作用的数据集为PairRDD

scala
reduceByKey函数原型

def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)] = self.withScope {
combineByKeyWithClassTag[V]((v: V) => v, func, func, partitioner)
}

我们可以发现，输入参数是两个，第一个参数是分区函数，第二个是作用在value上的一个函数，如果第一个参数为空，则使用默认的hashPartitioner;

reduceByKey样例

  val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas","numpy","pip","pip","pip"))
  //mapToPair
  val dataPair = data.map((_,1))

  //reduceByKey
  val result1 = dataPair.reduceByKey(_+_)
  //或者
  // val result2 = dataPair.reduceByKey((x,y)=>(x+y))

groupByKey函数原型

def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])] = self.withScope {
// groupByKey shouldn’t use map side combine because map side combine does not
// reduce the amount of data shuffled and requires all map side data be inserted
// into a hash table, leading to more objects in the old gen.
val createCombiner = (v: V) => CompactBuffer(v)
val mergeValue = (buf: CompactBuffer[V], v: V) => buf += v
val mergeCombiners = (c1: CompactBuffer[V], c2: CompactBuffer[V]) => c1 ++= c2
val bufs = combineByKeyWithClassTag[CompactBuffer[V]](
createCombiner, mergeValue, mergeCombiners, partitioner, mapSideCombine = false)
bufs.asInstanceOf[RDD[(K, Iterable[V])]]
}

我们发现groupByKey输入参数为分区方式，参数为空，代表采用默认的hashPartitioner，返回值为RDD[(K, Iterable[V])

其实reduceByKey与groupByKey底层调用的都是combineByKeyWithClassTag，我们都知道，reduceByKey是分区内先进行一个合并，在进行shuffle混洗；而groupByKey是直