hashshuffle 中的 consolidate机制:https://blog.51cto.com/u_15015181/2556472
sortshuffle 中的 bypass机制 :https://blog.csdn.net/qichangjian/article/details/88039576
本质上都是为了减少shuffle过程中的性能开销:不排序?减少小文件的个数?减少磁盘IO?
hashshuffle 中的 consolidate机制:https://blog.51cto.com/u_15015181/2556472
sortshuffle 中的 bypass机制 :https://blog.csdn.net/qichangjian/article/details/88039576
本质上都是为了减少shuffle过程中的性能开销:不排序?减少小文件的个数?减少磁盘IO?