hive---压缩和存储

-orc(占用空间小)+Snappy(压缩效率高)（常用）

• 修改Hadoop集群具有Snappy压缩方式
  • 查看hadoop支持的压缩方式
    • hadoop checknative
  • 开启Map输出阶段压缩
    • set hive.exec.compress.intermediate=true;
    • set mapreduce.map.output.compress=true;
    • set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
  • 开启Reduce输出阶段压缩
    • set hive.exec.compress.output=true;
    • set mapreduce.output.fileoutputformat.compress=true;
    • set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;