spark中reduceByKey、groupByKey、combineByKey的区别

reduceByKey

reduceByKey用于对每个key对应的多个value进行merge操作，最重要的是它能够在本地先进行merge操作，并且merge操作可以通过函数自定义；

groupByKey

groupByKey也是对每个key进行操作，但只生成一个sequence，groupByKey本身不能自定义函数，需要先生成RDD，然后才能对此RDD通过map进行自定义函数操作

比较发现，使用groupByKey时，不会进行局部merge，会导致集群节点之间的开销很大，导致传输延时。

combineByKey

import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.util.LongAccumulator
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

object Test{
	def main(args: Array[String]): Unit = {
		Logger.getLogger("org.apache.hadoop").setLev