Hive之配置使用snappy压缩

11 篇文章 0 订阅
3 篇文章 0 订阅

前言

  • OS:CentOS 7

  • hadoop:2.7.7

  • hive:2.3.0

  • Hive中配置snappy压缩,可以分别在Mapper输出阶段和Reducer输出阶段使用压缩算法。也可以将压缩后数据文件加载到表中用于查询,Hive会通过后缀名自动识别对应的压缩格式,并在查询时进行解压,但需要保持数据文件和表格式相同,否则只会显示结果全为NULL


查看本机目前可供Hadoop使用的压缩算法

使用以下命令,可以查看是否有相应压缩算法的库,如果显示为false,则需要额外安装

hadoop checknative -a

PS: Hadoop 2.X版本已经集成了snappy、lz4、bzip2等压缩算法的编/解码器,会自动调用对应的本地库,而CentOS 7中自带snappy依赖库,故无需安装安装snappy依赖)


开启Map阶段输出压缩

Hive中开启Map阶段输出压缩,可以减少在Hive中MR Job的Mapper和Reducer之间的网络I/O。开启此功能需要同时配置Hive和Hadoop相关参数,可以在Hive中配置,保证仅在当前会话生效,也可以直接在Hive和Hadoop的对应配置文件中修改默认参数持续生效。配置过程如下:

1)开启Hive中MR中间文件压缩:

hive> set hive.exec.compress.intermediate=true;

2)开启Hadoop的MapReduce任务中Map输出压缩功能:

hive> set mapreduce.map.output.compress=true;

3)设置Hadoop的MapReduce任务中Map阶段压缩算法(对应的编/解码器):

hive> set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

4)至此就完成了Map阶段的压缩配置


开启Reduce阶段输出压缩

当Hive将查询内容写入到表中(local/hdfs)时,输出内容同样可以进行压缩。同样需要同时配置Hive和Hadoop参数。既可以在Hive中配置,保证仅在当前会话生效,也可以直接在Hive和Hadoop的对应配置文件中修改默认参数持续生效。配置过程如下:

1)开启Hive最终查询结果输出文件压缩功能:

hive> set hive.exec.compress.output=true;

2)开启Hadoop中的MR任务的最终输出文件压缩:

hive> set mapreduce.output.fileoutputformat.compress=true;

3)设置Hadoop中MR任务的最终输出文件压缩算法(对应的编/解码器):

hive> set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

4)设置Hadoop中MR任务序列化文件的压缩类型,默认为RECORD即按照记录RECORD级别压缩(建议设置成BLOCK):

hive> set mapreduce.output.fileoutputformat.compress.type=BLOCK;

5)执行查询语句,观察执行结果文件(后缀名为.snappy):

hive> insert overwrite local directory '/tmp/hive/data/export/' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select * from emp;

6)加载本地的缩数据文件到临时表中:

hive> create table tmp like emp;
hive> load data local inpath '/tmp/hive/data/export/000000_0.snappy' overwrite into table tmp;

7)查询临时表结果

hive> select * from tmp;

8)至此就完成了Reduce阶段的压缩配置


End~

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值