第35课：彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现

第35课：彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现

Spark 2.1.X中Sort Shuffle 中TimSort排序:

         1,从Spark 1.6.x开始,默认核心的Shuffle是Sort  Shuffle，同学们可能有个印象Sort Shuffle要完成数据排序的，但这个印象是有问题的，例如写个最简单的WordCount程序，为什么在默认情况下不进行排序呢？所以从Hash Shuffle的方式变成SortShuffle，具体是怎么实现排序的？

         2，TimSort排序方式，一种相对权衡了各方面的排序方式，假如排序的数据分成很多不同的块，TimSort有很好的排序性能上的表现。因此，有必要彻底研究一下TimSort怎么实现的。

         回顾一下，我们跟踪代码是从Sorter.scala中跟到timSort的，也就是进行ExternalSorter的时候要进行排序，默认情况下基于PartitionID进行排序，对PartitionID进行排序并不意味着对数据本身进行排序，我们在Sorter.scala用到了timSort。研究一下timSort的源代码，会发现timSort和MergeSort有点类似，实质上有很大的区别，我们可以初步感知timSort的排序方式。MergeSort排序的方式把数据分成很多片，开始分成很多小文件，最终把小文件合并成大文件。timSort可以认为是MergeSort排序的改良。

TimSort优化MergeSort排序，把它变成稳定的、适应的、迭代的排序，TimSort基于分布式的排序，效率有很大的提升。

         MergeSort排序默认长度是1