Hadoop-Impala性能优化系列开幕

1    Hadoop-Impala性能优化系列开幕

1.1  序和简介

1.1.1  序

某集团数据中心业务支撑平台建设也2年了，磕磕碰碰一路走来。最近的hadoop业务大规模急速上升，出现不少问题。项目中集团三地集群均使用了impala作为计算引擎，性能直接提升显，同时也存在一些问题，本文结合自己的实践和官方的文档，做个整理，不敢独享。

由于项目本身繁忙，空闲时间较少，只能加班整理文档，仓促中整理过程中难免有不合适的地方，也请同行批评指正。本文适合初学者以及想对impala有个系统的优化调优人员。

1.1.2  简介

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。

1.1.3  优点

Impala不需要把中间结果写入磁盘，省掉了大量的I/O开销。

省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢（默认每个心跳间隔是3秒钟），Impala直接通过相应的服务进程来进行作业调度，速度快了很多。

Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式，而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶，因此可做更多的查询优化，从而省掉不必要的shuffle、sort等开销。

通过使用LLVM来统一编译运行时代码，避免了为支持通用编译而带来的不必要开销。

用C++实现，做了很多有针对性的硬件优化，例如使用SSE指令。

使用了支持Data locality的I/O调度机制，尽可能地将数据和计算分配在同一台机器上进行，减少了网络开销。

1.1.4  缺点

任何伟大的事物都是缺陷的美，impala也是同样，有各种各样的不完美，甚至是坑，但作为新生事物，我们不必求全责备，适合场景就好。（后期将会整理缺点和若干的坑系列，喜欢的朋友保持关注即可。）

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/24179204/viewspace-2129413/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/24179204/viewspace-2129413/