spark smart shuffle 介绍
大家好,我是cc,今天给大家介绍一个基于阿里内部使用的spark shuffle相关优化,主要通过并行化和减少io操作来提升shuffle效率。
spark shuffle 介绍
spark shuffle 简介
spark里面支持很多操作,例如map,filter,reduceByKey,reduce等等。每个操作之后都会生成一个新的rdd,
而后生成的为子rdd,子rdd的单个partitio...
原创
2019-11-18 17:31:13 ·
303 阅读 ·
0 评论