impala为什么比hive快

最新推荐文章于 2022-07-19 16:06:16 发布

aisi5339

最新推荐文章于 2022-07-19 16:06:16 发布

阅读量1.4k

点赞数

文章标签：大数据数据库 c/c++

原文链接：http://www.cnblogs.com/zhangzhen894095789/p/11586428.html

版权

Impala自称数据查询效率比Hive快几倍甚至数十倍，它之所以这么快的原因大致有以下几点：

全新的执行引擎（不是Mapreduce）。
在执行SQL语句的时候，Impala不会把中间数据写入到磁盘，而是在内存中完成了所有的处理。
使用Impala的时候，查询任务会马上执行而不是生产Mapreduce任务，这会节约大量的初始化时间。
Impala查询计划解析器使用更智能的算法在多节点上分布式执行各个查询步骤，同时避免了sorting和shuffle这两个非常耗时的阶段，这两个阶段往往是不需要的。
Impala拥有HDFS上面各个data block的信息，当它处理查询的时候能够在各个datanode上面更均衡的分发查询。
另外一个关键原因是，Impala为每个查询产生汇编级的代码，当Impala在本地内存中运行的时候，这些汇编代码执行效率比其它任何代码框架都更快，因为代码框架会增加额外的延迟。

转载于:https://www.cnblogs.com/zhangzhen894095789/p/11586428.html

关注