Spark-Shuffle

Spark-Shuffle理解

     对spark任务划分阶段，遇到宽依赖会断开，所以在stage 与 stage 之间会产生shuffle，大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。

    负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager，也即shuffle管理器。而随着Spark的版本的发展，ShuffleManager也在不断迭代。

   ShuffleManager 大概有两个： HashShuffleManager 和 SortShuffleManager。

 历史：

                在spark 1.2以前，默认的shuffle计算引擎是HashShuffleManager；

                在spark 1.2以后的版本中，默认的ShuffleManager改成了SortShuffleManager；

                在spark 2.0以后，抛弃了 HashShuffleManager。

HashShuffleManager

假设：每个Executor只有1个CPU core，也就是说，无论这个Executor上分配多少个task线程，同一时间都只能执行一个task线程。

 上游 stage 有 2个 Executor，每个Executor 有 2 个 task。