记录一下Hive中间和最终结果压缩

中间Lzo,最终Gzip

 

Java代码  

1. set mapred.output.compress = true;  
2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec;  
3. set mapred.output.compression.type = BLOCK;  
4.   
5. set mapred.compress.map.output = true;  
6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
7.   
8.   
9. set hive.exec.compress.output = true;  
10. set hive.exec.compress.intermediate = true;  
11. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  

 

 

中间Lzo,最终结果不压缩

 

Java代码  

1. set mapred.output.compress = true;  
2. set mapred.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
3. set mapred.output.compression.type = BLOCK;  
4.   
5. set mapred.compress.map.output = true;  
6. set mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec;  
7.   
8.   
9. set hive.exec.compress.intermediate = true;  
10. set hive.intermediate.compression.codec = org.apache.hadoop.io.compress.LzoCodec;