大数据分析（Big Data OLAP）引擎Dremel, Tenzing 以及Impala

对于数据分析师来说，SQL是主要的语言。 Hive为Hadoop提供了支持SQL运行的能力，可是目前Hive运行速度达不到实时要求。这是因为Hive将SQL翻译成一个或多个MapReduce任务，而MapReduce原本是大数据批处理计算框架，并不适应实时数据分析的速度要求。

 

现在有两种思路去提高SQL在大数据平台上的执行速度：

1.      用一种更快的SQL执行引擎取代MapReduce。

2.      优化MapReduce，使其更适合OLAP查询。

 

谷歌在这两种思路上都做出了先驱性工作。2010年，谷歌发表了Dremel论文。Dremel是取代MapReduce的SQL执行引擎，其速度要快于MapReduce100倍，基本上可以保证大多数SQL执行在一秒内完成。 2011年，谷歌发表了Tenzing论文， Tenzing是一种经过优化的MapReduce系统，大多数SQL查询能在5--10秒钟之内完成。

 

本文将首先讨论Dremel和Tenzing的技术特点，然后展示Youtube的BI构架，最后将讨论最新开源SQL执行引擎Impala。

 

Dremel—一个更快的SQL执行引擎

 

据谷歌的技术人员自己宣称，Dremel的SQL执行速度不仅比MapReduce快，也要比MySQL块。例如一个大的Fact table, 有130 million行数据，在上面做Avg（）计算，MySQL需要2分钟，而用类似价位硬件的Dremel只需要几秒钟。

 

Dremel之所以快，主要有两点原因

1.      Dremel的服务器节点按照一个递归树形状组织在一起。图1显示了Dr