Impala与Presto性能比较
发布时间:2018-06-13 08:28,
浏览次数:524
, 标签:
Impala
Presto
下面是Presto、Impala这两种典型的内存数据库的简单测试比较,当然这种内存数据库类似的还有spark
sql,这种数据库在大数据量,多表关联查询时,会展现出自己的优势,下面是一组impala和presto的性能对比图:
环境准备:1台32G内存、2台16G内存,没有完全把内存配置饱和
测试数据:hive中3张2000W数据量的表
集群:impala和presro部署在3台机器上
presto版本:presto-server-0.191
(presto安装:http://blog.csdn.net/u012551524/article/details/79013194)
impala版本:2.8.0-cdh5.11.0
1、单表的聚合操作
Presto:count
1s(presto目前只精确到整数,所以小于1s也是显示1s)
Impala:count
0.24s
Presto:count、distinct
取了3次,分别是:4、3、3 (s)
Impala:count、distinct
取了3次:0.74、0.75、0.76(s)
2、单值查询
Presto :查询一个ID的记录
3次ÿ