Spark算子 reduceByKey与countByKey区别及用法

1、相同点：

      两者都会根据 key 来分组

2、不同点：

1) reduceByKey:Transormation类算子,根据用户传入的聚合逻辑对数组内的数据进行聚合,懒策略,延迟计算,在 shuffle 之前有 combine（预聚合：分区内聚合）操作，返回结果是 RDD[k,v]
2) countByKey:Action类算子,不需要用户传入聚合逻辑，直接对数组内的数据进行统计记录数,触发计算，countByKey 适用于不关心 value 具体内容，只需知道相同 key 有多少个 value 的情况。

例如下面有个 rdd:
rdd=sc.parallelize([(“a”,1),(“b”,1),(“a”,1),(“a”,2),(“b”,3)])

rdd.reduceByKey(lambdax,y:(x+y))   
rdd.reduceByKey(lambdax,y:(x+y)).collect()
输出：[(‘b’,4),(‘a’,4)]

Tips:不会立马进行 shuffle,遇到action算子操进行计算，且根据传入的集合逻辑进行输出

操作：rdd.countByKey()
输出：defaultdict(<class’int’>,{‘a’:3,‘b’:2})，

Tips:只计算 key 有多少个 value,"a"有 3 个 value,"b"有 2 个 value