reduceBykey | groupByKey | sortByKey 的区别!
-
reduceBykey操作——reduceBykey在源码中reduce之前使用预先聚合的combine操作
-
groupByKey——直接进行shuffle的操作
-
sortByKey ——根据key进行排序的操作
总结:
reduceBykey 合并
groupByKey 只分组,未合并
sortByKey 只排序
reduceBykey操作——reduceBykey在源码中reduce之前使用预先聚合的combine操作
groupByKey——直接进行shuffle的操作
sortByKey ——根据key进行排序的操作
总结:
reduceBykey 合并
groupByKey 只分组,未合并
sortByKey 只排序