Hive(四):之Compression(4)----常见压缩的Demo测试、性能比较

这里只是在单机上对18M的数据进行测试
数据下载地址:https://pan.baidu.com/s/12keSnetSRkSxdQFxxcnRGg

1. 准备数据

load data local inpath '/home/hadoop/data/hive-test-data/page_views.dat' overwrite into table page_views;

2. 测试对比

压缩格式	数据压缩前	压缩后	压缩时间	设置
Default(默认压缩)	18.1M	5.3M	5550897	set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec;
Snappy	18…2M	8.4M	8813825	set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
Lz4	18.1M	8.3M	8747489	set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.Lz4Codec;