spark中aggregateByKey的用法及示例

aggregateByKey算子的作用就是将元素类型为k,v类型的rdd根据k分组将v合并到某个数据结构中，下面我就通过示例介绍该算子的用法。

示例详解

假设有这样一个需求，将一个k,v类型的rdd根据k进行分组，并将v聚合到一个List集合中

1. 首先创建一个k,v类型的rdd

val arr = Array(("a","j"),("b","k"),("a","l"),("a","m"),("b","n"))
val rdd1: RDD[(String, String)] = sc.parallelize(arr)

2. 创建一个ListBuffer，并指定泛型

val zeroValue = collection.mutable.ListBuffer[String]()

3. 在rdd上调用aggregateByKey算子进行聚合

val aggregate: RDD[(String, ListBuffer[String])] = 
rdd.aggregateByKey(zeroValue)((L, str) => L += str, (L1, L2) => L1 ++= L2)

参数及其意义：
zeroValue: 作为聚合的初始值，必须是可变的数据结构，因为要将v聚合到List中，所以是ListBuffer类型
(L,str) => L += str: 把str合并到List集合L中，该函数用于分区内聚合
(L1, L2) => L1 ++= L2: 合并两个分区的数据结构，该函数用于分区间聚合

4. 将聚合后的ListBuffer转为List

val result: RDD[(String, List[String])] = aggregate.mapValues(list => list.toList)

5. 聚合结果

(a,List(j, l, m))
(b,List(k, n))