groupByKey和reduceByKey都具有shuffle
都是聚合操作
reduceByKey:具有预聚合,在局部聚合时将value进行相加或者指定操作,
groupByKey:局部聚合时不指定value操作.
reduceBykey相对groupByKey减少了网络传输
collect测试环境源码注解中显示,将结果返回到Driver端,collect如果 返回数据太大会报错.
groupByKey和reduceByKey都具有shuffle
都是聚合操作
reduceByKey:具有预聚合,在局部聚合时将value进行相加或者指定操作,
groupByKey:局部聚合时不指定value操作.
reduceBykey相对groupByKey减少了网络传输
collect测试环境源码注解中显示,将结果返回到Driver端,collect如果 返回数据太大会报错.