Hive存储类型及压缩方式对比

一.Text:

1.Snappy        1010MB        14:25

2.Gzip              614MB         18:29

3.Bzip2            496MB         23:00

二.Parquet

1.Snappy        2013MB        18:05

2.Gzip             643MB          25:11

3.Bzip2            2013MB        30:30

三.Orc

1.Snappy        770MB        18:42

2.Gzip             770MB        34:00

3.Bzip2           770MB         30:00

set hive.stats.autogather=false;--整理导入文件信息;为false可省略大量时间,不会改变导入文件大小

set mapreduce.output.fileoutputformat.compress=true;--默认false

set mapreduce.output.fileoutputformat.compress.codec;--二者疑似为同一属性

set mapred.output.compression.codec;--二者疑似为同一属性