Hive中压缩使用详解与性能分析

最新推荐文章于 2024-05-21 00:42:44 发布

江湖峰哥

最新推荐文章于 2024-05-21 00:42:44 发布

阅读量357

点赞数

分类专栏： hive

原文链接：https://blog.csdn.net/qq_26442553/article/details/85766558

版权

hive 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了使用Hive SQL创建外部表并指定Parquet存储格式的过程，通过具体实例展示了如何设置压缩参数及进行数据插入，特别关注了在Parquet格式下文件后缀名的显示问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考大佬这篇
注意:如果文件格式不是textfile(比如parquet),做测试的时候可能最终输出的文件后缀名效果不明显,例如:

create external table dws_s_oaczrzst_zb33 (
`XM` string COMMENT '操作人姓名',
`avg_czcs` double COMMENT '平均操作次数') 
COMMENT '当天操作次数曲线图' 
row format delimited fields terminated by '|' 
stored as parquet 
location '/datastore/dws/dws_s_oaczrzst_zb33' 
tblproperties ("parquet.compression"="Lzo");

set hive.exec.compress.output=true;
set  mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec;
insert overwrite table dws_s_oaczrzst_zb33 select XM,avg_czcs from(
select collect_set(XM)[0] XM,round(count(*)/30,2) AS avg_czcs from (
select XM,czrID,date_format(czsj,'yyyy-MM-dd') czsj from ods_s_oaczrzst t1
join ods_sys_UserInfo t2
on t1.czrID = t2.ID
where t1.czrbmID=348) tmp
group by czrID ) tmp2;