11.1.impala 10亿数据的的测试与优化演示

impala3.1  阿里云低配 数据10.5亿

 

1.测试表10.5亿

分区表(每个分区1亿数据),格式parquet

第一次count查询6秒,第二次很快

distinct

group by 

where实现秒查 10亿数据   该条件数据75475530条

条数少的可以实现直接毫秒级查询

2.测试表1亿 同上

distinct

group by

 

3.测试表小表

 

 

4.大小表join查询(略)

5.hue上执行(时间相对延迟一点)

测试数据,parquet snappy 6.2亿数据,同样

hue执行延迟,但二次查询都是毫秒的

 

--优化查询