#博学谷IT学习技术支持#
map中间结果压缩配置:
建议: 在hive的会话窗口配置
hive.exec.compress.intermediate: 是否hive对中间结果压缩
以下两个建议直接在cm上yarn的配置目录下直接配置
mapreduce.map.output.compress : 是否开启map阶段的压缩
mapreduce.map.output.compress.codec : 选择什么压缩方案
推荐配置:
org.apache.hadoop.io.compress.SnappyCodec
reduce最终结果压缩配置:
建议: 在hive的会话窗口配置
hive.exec.compress.output: 是否开启对hive最终结果压缩配置
以下两个建议直接在cm上yarn的配置目录下直接配置
mapreduce.output.fileoutputformat.compress: 是否开启reduce端压缩配置
mapreduce.output.fileoutputformat.compress.codec: 选择什么压缩方案
推荐配置:
org.apache.hadoop.io.compress.SnappyCodec
mapreduce.output.fileoutputformat.compress.type : 压缩方案
推荐配置:
BLOCK
说明:
如果hive上没有开启压缩, 及时配置MR的压缩, 那么也不会生效