combineByKey 一点通

  var rdd = sc.makeRDD(Array(("A",2),("A",1),("A",3),("B",1),("B",2),("C",1)))
 
    val collect: Array[(String, String)] = rdd.combineByKey(
      (v: Int) => v + "_",
      (c: String, v: Int) => c + "@" + v,//同一分区内
      (c1: String, c2: String) => c1 + "$" + c2
    ).collect
 
    for (elem <- collect) {
      println(elem._1,"--",elem._2)
    }

我跑spark的时候 

--conf spark.sql.shuffle.partitions=100的结果：

(A,--,1_$2_$3_) (B,--,1_$2_) (C,--,1_) 

--conf spark.sql.shuffle.partitions=2的结果：

(B,--,1_2OOO)
(C,--,1_)
(A,--,6_$2_1@3@$3_)

现在明白了吧，mergevalue是同一个分区内的做操作。combine value是不同分区做操作。