spark中的shuffleManager是负责shuffle过程的执行,计算和处理的组件.shuffleManager是trait,主要实现类有两 个:一个是HashShuffleManager,另外一个是SortShuffleManager.
一、HashShuffleManager和SortShuffleManager的关键区别
- HashShuffleManager在1.2版本之前是默认使用的shuffle版本,SortShuffleManager是1.2版本之后的默认shuffle方式。
- hash
spark中的shuffleManager是负责shuffle过程的执行,计算和处理的组件.shuffleManager是trait,主要实现类有两 个:一个是HashShuffleManager,另外一个是SortShuffleManager.
一、HashShuffleManager和SortShuffleManager的关键区别