实时查询引擎 - Cloudera Impala 介绍与应用

1. Impala 是什么

  Impala是我使用最多，也是使用非常广泛的实时查询系统。相较于之前介绍的HAWQ, Presto 以及 Drill 等，已经可以找到很多它的相关资料。它同样是基于Hadoop的以SQL语言接口，并提供实时的，高并发的查询MPP类查询引擎。即然是提供实时的查询，那么它的运算方式肯定不能基于MapReduce，Impala将所有的中间结果数据都放在内存中。实际上在新版本的Impala中，已经支持Spill to disk特性，只是使用场景还非常有限。
  另一个Impala的最大特点是与HIVE共用同一份数据字典和表数据，也就是Impala可以直接查询Hive的数据，且在其中一个组件中新建的表或加载的数据，在另一个组件中立即可以查询。我认为这个特性是非常有用的。即针对大部分数据可以采用Impala完成实时的查询分析，而针对部分海量的，分析过程中内存不能容纳的基础数据，可以采用HIVE进行分析后，对结果使用Impala进行二次分析或实时查询进行及时的呈现。
  既然要跟Hive一起玩，那么Impala必须支持HIVE所支持的文件格式，包括：Parquet，Text，OCR，SequenceFile等。同时在SQL兼容上，也与HIVESQL大部分兼容（实际上作为标准SQL所用到的SELECT,GROUP,JOIN，OVER等基本都差不多）。

2. Impala 结构

   Impala的结构非常简单明了，它是一个无主节点的分布式系统，典型的部署方式同样是每一台DataNode上部署一个Cloudera Impala服务，即Impalad进程。看图：

• Impalad: 即部署在每一台DataNode上的Cloudera Impala服务。它包含接受连接，处理用户提交SQL，结果返回，查询分析，任务分发与协调的功能等。用户可以连接到集群中的任意一台Impala节点上进行查询。每个Impalad里都包含了三部分：Query planner, Query Coordinator, Query Exec engine. 这也就