关于MapReduce中的shuffle阶段和Spark中的shuffle阶段比较

最新推荐文章于 2022-09-21 21:49:54 发布

fj58～～

最新推荐文章于 2022-09-21 21:49:54 发布

阅读量438

点赞数

文章标签： MapReduce shuffle spark

本文链接：https://blog.csdn.net/fmc_517/article/details/100772461

版权

MapReduce中的shuffle阶段和Spark中的shuffle阶段比较

从逻辑角度来讲，Shuffle 过程就是一个 GroupByKey 的过程，两者没有本质区别，但是MR在进行GroupByKey之前会对key进行排序，而Spark则不会对key进行排序。
从数据流角度讲，两者有差别。MapReduce 只能从一个 Map Stage shuffle 数据，Spark 可以从多个 Map Stages shuffle 数据。
Shuffle write/read 实现上有一些区别。MapReduce 可以说是 sort-based，shuffle write 和 shuffle read 过程都是基于key sorting。早期的 Spark 是 hash-based，shuffle write 和 shuffle read 都使用 HashMap-like 的数据结构进行 aggregate (without key sorting)。但目前的 Spark 是两者的结合体，shuffle write 可以是 sort-based (only sort partition id, without key sorting)，shuffle read 阶段可以是 hash-based。
4 从性能优化角度来讲，Spark考虑的更全面。MapReduce 的 shuffle 方式单一。Spark 针对不同类型的操作、不同类型的参数，会使用不同的 shuffle write 方式。

关注