Hive与impala的对比测试实验

原创,专业,图文 Hive与impala的对比测试实验 - Hive,impala,对比,测试,实验 今日头条,最新,最好,最优秀,最靠谱,最有用,最好看,最有效,最热,排行榜,最牛,怎么办,怎么弄,解决方案,解决方法,怎么处理,如何处理,如何解决

前面几篇随笔记录了我安装环境的一些笔记，环境ok以后，自然要看看impala到底性能如何，拿他来hive做做对比：

前面hive章节中，已经建立了一张名叫chengyeliang的table，该表的结构为

该表内导入了100000条记录。

此文来自: 马开东云搜索 转载请注明出处 网址： http://m.makaidong.com

此文原标题: Hive与impala的对比测试实验 来源网址： http://m.makaidong.com/博客园排行/3/0_17187.html

分别用impala-shell和hive对该表进行查询：

测试一

查询记录的数量：

select count（*）from chengyeliang；

hive：

 

耗时27.197秒

impala

 

耗时0.33秒

测试二

查询符合过滤条件的记录：filter

select * from chengyeliang where foo=1314;

hive：

耗时19.967秒

impala

 

耗时0.31秒

测试三

查询某一列或者某几列的值：

select foo from chengyeliang limit 2000;（前2000条）

hive：

耗时18.71秒

impala

耗时0.47秒

---

 

扩大数据量---上亿条记录

表的结构为：

 

 

12个字段，共有100437725（1亿多）条记录。

测试一

查询记录的数量：

select count(*) from yeliang;

hive：

 

耗时111.761秒

impala

 

耗时26.31秒

测试二

查询符合过滤条件的记录：filter

select * from yeliang where id=123456;

hive：

 

耗时110.581秒

impala

 

耗时24.50秒

测试三

查询某一列或者某几列的值：

select id from yeliang sort by id limit 500;(前500条，排序)

hive：

 

耗时515.711秒

impala

耗时28.77秒

总结

　　大数据下的查询分析工具调研了一两个月的时间了，从最初的drill开始，到impala，从框架级，原理架构级到源码分析级，感触很多，由于apache 对drill广阔的前景规划目前drill的功能还不支持真正的dfs文件数据的查询，impala相对成熟一些，该文档前面详细叙述了搭建impala的环境，以及支持impala的各组件的安装，尤其是环境ok以后，对比hive的查询分析

此文来自: 马开东博客 转载请注明出处 网址：

实验， 实时性返回的感觉真的很棒。

　　google总是引领着互联网技术公司的走向，尤其在大数据领域。前段时间调研过的apache hama就是google pregel的开源实现，而如今apache drill同样是对google产品big query背后的引擎dremel的开源实现，cloudera在这一步上略早于apache，使得他的cdh更加的在业界具有竞争力，前段时间业界新闻，hive的发源地facebook同样也推出了自己的大数据查询分析工具----presto http://www.csdn.net/article/2013-06-13/2815749-facebook-presto

　　这说明着，数据越多的公司，对数据分析有强烈需求的公司，他们对高效查询分析的需求同样会更迫切。

展望

　　总的来说，能够亲眼看到超过hive查询速度20多倍的产品，还是很吃惊的。但是，调研的过程中，尤其源码分析的阶段，类sql大数据查询分析的门槛还是相对很高的，个人感觉，需要团队对传统数据库领域或者分布式文件系统等相关方向的积累，如果有分布式数据库的经验作为对比学习则更好。