Spark算子[07]：reduce，reduceByKey，count，countByKey

算子 reduce，reduceByKey，count，countByKey 可分为两类：

action操作：reduce，count，countByKey
transformation操作：reduceByKey

---

1、reduce

reduce(func) 是对JavaRDD的操作
使用函数func聚合rdd的元素(它需要两个参数并返回一个参数)。这个函数应该是可交换的，并且是相关联的，这样它就可以并行地计算出来。

scala版本

val rdd1 = sc.parallelize(List("a","b","b","c")) 
scala> val res = rdd1.reduce(_+"-"+_)

res: String = b-c-a-b

java版本

JavaRDD<String> rdd1 = sc.parallelize(Arrays.asList("a", "b", "b", "c"));
String res = rdd1.reduce(new Function2<String, String, String>() {
    @Override
    public String call(String v1, String v2) throws Exception {
        return v1 +"-"+v2;
    }
});
System.out.println(res);

# b-c-a-b

---

2、reduceByKey

reduceByKey(func, [numTasks]) 是对JavapairRDD的操作；
针对(K, V) 的rdd，使用给定的reduce函数func聚合每个K的值，返回(K, V)；可通过第二个参数定义Tasks个数。

scala版本