【无标题】

最新推荐文章于 2022-08-12 15:18:26 发布

二踢脚 Vol

最新推荐文章于 2022-08-12 15:18:26 发布

阅读量95

点赞数

文章标签： hive hadoop mapreduce

本文链接：https://blog.csdn.net/TheShy1231/article/details/124862331

版权

hive配置压缩的方式

1. 开启map端的压缩方式:

1.1）开启hive中间传输数据压缩功能
	hive (default)>set hive.exec.compress.intermediate=true;
1.2）开启mapreduce中map输出压缩功能
	hive (default)>set mapreduce.map.output.compress=true;
1.3）设置mapreduce中map输出数据的压缩方式
	hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

2. 开启reduce端的压缩方式

1）开启hive最终输出数据压缩功能
	hive (default)>set hive.exec.compress.output=true;
2）开启mapreduce最终输出数据压缩
	hive (default)>set mapreduce.output.fileoutputformat.compress=true;
3）设置mapreduce最终数据输出压缩方式
	hive (default)> set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
4）设置mapreduce最终数据输出压缩为块压缩
	hive (default)>set mapreduce.output.fileoutputformat.compress.type=BLOCK;
5）测试一下输出结果是否是压缩文件
	insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;