【reduceByKey】: 相同 key 的第一个数据不进行任何计算,分区内和分区间计算规则相同。
【FoldByKey】: 相同 key 的第一个数据和初始值进行分区内计算,分区内和分区间计算规则相同。
【AggregateByKey】:相同 key 的第一个数据和初始值进行分区内计算,分区内和分区间计算规则可以不相同。
【CombineByKey】:当计算时,发现数据结构不满足要求时,可以让第一个数据转换结构。分区内和分区间计算规则不相同。
RDD分区内计算reduceByKey、foldByKey、aggregateByKey、combineByKey 的区别
最新推荐文章于 2024-03-11 23:50:50 发布