hive压缩优化-01

压缩优化

--查看hive支持的压缩类型
set io.compression.codecs;


--开启hive中间压缩,对于hadoop job的是mapred.compress.map.output，并设置压缩为snappy压缩
set hive.exec.compress.intermediate=true;
mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec


--开启hive的最终结果压缩,如果设置了开启压缩，那么需呀设置一个编解码器
--默认的编解码器是`org.apache.hadoop.io.compress.DefaultCodec`,这里设置成`org.apache.hadoop.io.compress.GzipCodec`。
--对于hadoop job的是mapred.output.compress
--hive支持GZIP、BZip2、Snappy、LZO
--其中BZip2压缩率最高，但是对cpu消耗比较高，所以速度慢；Gzip是cpu和存储的折中选择；snappy和lzo压缩率低，但是速度快，但是对cpu消耗小
--BZip2和LZO提供了块(Block)级别的压缩，gzip和snappy不支持块级别压缩
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;


--设置sequencefile为BLOCK,设置的参数可选为NONE、RECORD、BLOCK
set mapred.output.compression.type=BLOCK;


--配置hive启用归档文件
set hive.archive.enabled=true;

转载于:https://www.cnblogs.com/shenjie2017/articles/10310592.html