Impala学习笔记 --- Impala相对于Hive所使用的优化技术，性能对比

• 没有使用MapReduce进行并行计算，虽然MapReduce是非常好的并行计算框架，但它更多的面向批处理模式，而不是面向交互式的SQL执行。与MapReduce相比：Impala把整个查询分成一执行计划树，而不是一连串的MapReduce任务，在分发执行计划后，Impala使用拉式获取数据的方式获取结果，把结果数据组成按执行树流式传递汇集，减少的了把中间结果写入磁盘的步骤，再从磁盘读取数据的开销。Impala使用服务的方式避免每次执行查询都需要启动的开销，即相比Hive没了MapReduce启动时间。
• 使用LLVM产生运行代码，针对特定查询生成特定代码，同时使用Inline的方式减少函数调用的开销，加快执行效率。
• 充分利用可用的硬件指令。
• 更好的IO调度，Impala知道数据块所在的磁盘位置能够更好的利用多磁盘的优势，同时Impala支持直接数据块读取和本地代码计算checksum。
• 通过选择合适的数据存储格式可以得到最好的性能（Impala支持多种存储格式）。
• 最大使用内存，中间结果不写磁盘，及时通过网络以stream的方式传递。

相同点：

• 数据存储：使用相同的存储数据池都支持把数据存储于HDFS, HBase。
• 元数据：两者使用相同的元数据。
• SQL解释处理：