Spark的reduceByKey使用时注意:如果key值是唯一的,那么value值就会原样输出。
reduceByKey是基于combineByKey,如果key值唯一,就不会执行merge步骤,也就不会执行reduceByKey方法体。
代码实例:
object Test {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
val sc = new SparkContext(conf)
val rdd = sc.parallelize(
List(
(("10001085", "51")