浅谈阿里云伏羲sortBenchmark为何这么快

看到了阿里云伏羲计算平台获得了sortbenchmark冠军,并且是投入使用版(Daytona)和内部实验版(Indy)双冠，为国内的云计算事业感到自豪，详情见http://sortbenchmark.org/FuxiSort2015.pdf 。

那么为什么伏羲计算框架在排序可以达到这么快的速度，究竟在哪里做了哪些优化呢，在文中提到了流水线策略、IO双buffer、NetWork Shuffle等优化点。

看了这些优化点，还是可以略知一二的，比如IO双buffer，很显然的作用就是加快了读写速度，让task在读写数据时的速度加快。那么NetWork Shuffle呢？这个是什么意思呢？下面会针对NetWork Shuffle进行较为详细的分析。

首先我们需要了解什么是shuffle。先来看一张Hadoop的架构图。