impala、hive之parquet表性能测试

最新推荐文章于 2022-08-27 17:13:05 发布

晴初1997

最新推荐文章于 2022-08-27 17:13:05 发布

阅读量413

点赞数

文章标签： impala hive 大数据

本文链接：https://blog.csdn.net/qq_43151441/article/details/114310608

版权

前提条件说明：impala已打通hive元数据，测试表格式为parquet

建表性能测试

一、impala
建表SQL

create table temp.ad_impala stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd>=calc_date(4);

在这里插入图片描述

1亿多条数据，耗时28s

二、hive测试
建表SQL

create table temp.ad_hive stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd>=date_sub(current_date(),4);