窄依赖:一个父RDD的partition的RDD只能被子RDD的partition最多使用一次
宽依赖:一个父RDD的partition的RDD会被子RDD的partition使用多次
coalesce vs repartition
coalesce:用来减少分组
repartition:提高并行度
计数器
用来计数的
窄依赖:一个父RDD的partition的RDD只能被子RDD的partition最多使用一次
宽依赖:一个父RDD的partition的RDD会被子RDD的partition使用多次
coalesce vs repartition
coalesce:用来减少分组
repartition:提高并行度
计数器
用来计数的