学习spark任何知识点之前,最好先正确理解spark,可以参考:正确理解spark
一、序言
对于key-value类型RDD的两个api, reduceByKey与foldByKey,我们往往只是简单的知道它们不同的点就是foldByKey比reduceByKey多了一个初始值,但是仅仅知道这么一点是完全不够的,我们还是不知道怎么合理的去用这两个api,所以有必要对两个api做一个详细的对比。我们接下来先从RDD的另外两个action api reduce和fold入手,然后慢慢的分析reduceByKey与foldByKey使用场景
二、RDD action Api -- reduce 和 fold
我们从如下两个方面来对比这两个api
1、分别对空的RDD应用这两个Api,如下:
//创建一个空的RDD val emptyRdd = sc.emptyRDD[Int] //对空的RDD进行reduce会报如下错 //java.lang.UnsupportedOperationException: empty collection // at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$36.apply(RDD.scala:1027) emptyRdd.reduce(_ + _) //对空的RDD进行fold则不会,而是返回0 emptyRdd.fold(0)(_ + _) // res1: Int = 0
2、从产生临时对象的多少来区别这两个api
//创建一个RDD,RDD的类型为ArrayBuffer val testRdds = sc.parallelize(Seq(ArrayBuffer(0, 1, 3), ArrayBuffer(2, 4, 5))) //对testRdds进行reduce,如下: //会产生很多的中间临时对象 因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象 testRdds.reduce(_ ++ _) //对testRdds进行fold,如下: // ArrayBuffer只初始化一次,每次都是将ArrayBuffer append到之前的ArrayBuffer中,不会产生中间临时对象 testRdds.fold(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem)
从上面可以看出,fold操作将会产生很少的中间对象,如果中间对象太多了的话,则会导致gc频繁,进而影响性能,所以使用reduce和fold的时候,我们需要考虑下会不会产生很多的临时对象,如果会的话,我们能不能使用fold操作来避免产生过多的中间对象
三、key-value类型RDD api -- reduceByKey与foldByKey
我们也是从如下两个方面来考虑:
1、对空的RDD应用这两个Api,行为是一致的,都是返回0
val emptyKeyValueRdd = sc.emptyRDD[(Int, Int)] emptyKeyValueRdd.reduceByKey(_ + _).collect //0 emptyKeyValueRdd.foldByKey((0))(_ + _).collect //0
2、从产生临时对象的多少来区别这两个api
//构建一个key-value类型的RDD val testPairRdds = sc.parallelize(Seq(("key1", ArrayBuffer(0, 1, 3)), ("key2", ArrayBuffer(2, 4, 5)), ("key1", ArrayBuffer(2, 1, 3)))) //对testPairRdds应用reduceByKey, 如果相同的key的数据特别多的话,也会产生特别多的临时对象,因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象 testPairRdds.reduceByKey(_ ++ _).collect() //对testPairRdds应用foldByKey,对每一个key来说,ArrayBuffer只初始化一次,每次都是将ArrayBuffer append到之前的ArrayBuffer中,不会产生中间临时对象 testPairRdds.foldByKey(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem).collect()
从上面也可以看出,foldByKey与reduceByKey的应用场景其实和fold与reduce是一样的,所以对于中间临时对象产生的情况下,我们需要在foldByKey与reduceByKey两者中选择好
对于RDD其他的api的原理及其使用的时候需要注意的点,可以参考:spark core RDD api原理详解
转载于:https://blog.51cto.com/7639240/1966997