Spark foldByKey

Spark foldByKey 功能

aggregateByKey功能：：对数据的key按照不同的规则进行分区内计算和分区间计算

foldByKey：当分区内计算规则和分区间计算规则相同时，aggregateByKey 就可以简化为 foldByKey

案例演示

sc.makeRDD(List((“a”, 3), (“a”, 2), (“c”, 4), (“b”, 3), (“c”, 6), (“c”, 8)), numSlices = 2)

需求：按照key求分区内最大值，分区间也求最大值

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Desc : 1 如果分区内和分区间计算规则一样，并且需要指定初始值，那么优先使用foldByKey
 *        2 如果分区内和分区间计算规则一样，但不需要指定初始值，那么优先使用reduceByKey
 */
object Spark16_FoldByKey {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark16_FoldByKey").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //创建RDD
    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a", 3), ("a", 2), ("c", 4), ("b", 3), ("c", 6), ("c", 8)), 2)
    // 分区内和分区间相同处理逻辑相同时，用foldByKey
    // 分区内求最大值，分区间也求最大值
    // zeroValue = 0 key对应value的初始值为0
    val resRDD: RDD[(String, Int)] = rdd.foldByKey(zeroValue = 0)((x:Int,y:Int)=>{math.max(x,y)})
    //打印输出
    resRDD.collect().foreach(println)
    //释放资源
    sc.stop()
  }
}

res:

(b,3)
(a,3)
(c,8)