【HIVE】(03)学会hive中的压缩和解压进行资源优化

系列文章回顾
【HIVE】(01)学会使用JOIN语句
【HIVE】(02)学会理解explain
【HIVE】(03)学会hive中的压缩和解压进行资源优化

---

---

压缩和解压的优缺点如下：
1）缺点是 会增加额外的CPU；优点是 可以减少载入内存的数据量 而提高I/O吞吐量的能力。
2）使用场景：当hadoop的job是I/O密集型时，应使用压缩来提高性能。
本文将介绍如何合适地在Hadoop中配置压缩格式才能提升性能。

一.压缩格式介绍

Hadoop 常见有7种压缩格式（Gzip、Snappy、zstd、LZO、Bzip2、LZ4、Deflate），它们之间的区别体现在压缩比、压缩速度、解压速度上。

压缩格式	应用场景	文件扩展名	压缩比	压缩速度	解压速度	是否可切割
Gzip	适合对存储空间要求较高，但对压缩速度要求不是很高的场景	.gz	中等	较慢	较快	否
Snappy	适合需要快速压缩和解压的场景，但对压缩比要求不是很高的场景	.snappy	低	快	快	否
zstd	优于LZO，相对来说能达到压缩比、压缩速度、解压速度都较好的最优目的，最适用于大数据环境	.zstd	高	快	快	是
LZO	压缩比、压缩速度、解压速度都好，但略低于zstd	.lzo	高	较快	快	是
Bzip2	追求最高的压缩比	.bz2	很高	慢	较慢	是
LZ4	追求最高的压缩和解压速度	.lz4	低	极快	极快	否
Deflate	性能方面比较中庸的一种压缩格式	.deflate	中等	较快	较快	否

思考题：为什么我们需要不同的压缩方案呢？

• 原因1: 每1个压缩方案 都在 压缩/解压 速度 和压缩比间进行权衡。
  BZip2压缩比最高，但是同时需要消耗最多的CPU开销。
  LZO和Snappy压缩比较小，但是压缩/解压速度要快。
• 原因2: 要考虑压缩格式的文件 是否是可分割的。
  Mapreduce 需要将非常大的输入文件分割成多个划分（通常1个文件块 对应 1个划分，也就是64MB的倍数），其中每个划分会被分发到1个独立的map进程中。
  只有当Hadoop知道文件中记录的边界时，每个划分才可以进行这样的分割，而gzip和snappy等不支持切分的压缩格式就会将边界信息掩盖掉，从而会导致，如果有1个不可切分的文件特别大，会出现1个单独的task来读取整个文件进行处理，使整个任务结束的特别慢。

因此，在日常任务中，需要根据不同任务的执行要求，选择合适的压缩格式。

二.不同压缩格式对应的编码/解码器

为了支持多种压缩/解压算法，Hadoop引入了编码/解码器，如下所示：

压缩格式	对应的编码/解码器
Gzip	org.apache.hadoop.io.compress.GzipCodec
Snappy	org.apache.hadoop.io.compress.SnappyCodec
zstd	org.apache.hadoop.io.compress.ZStandardCodec
LZO	com.hadoop.compression.lzo.LzopCodec
Bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZ4	org.apache.hadoop.io.compress.Lz4Codec
Deflate	org.apache.hadoop.io.compress.DefaultCodec

以查看当前环境中io.compression安装的编码/解码器为例，代码如下：

hive> set io.compression.codecs;
结果返回为：
+-----------------------------------------------------------------------------------------------------------------------------------------------------+--+
|                                                                         set                                                                         |
+-----------------------------------------------------------------------------------------------------------------------------------------------------+--+
| io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec  |
+-----------------------------------------------------------------------------------------------------------------------------------------------------+--+
1 row selected (0.005 seconds)

如上，可知，当前环境已经安装的编码/解码器有
org.apache.hadoop.io.compress.GzipCodec
org.apache.hadoop.io.compress.DefaultCodec
org.apache.hadoop.io.compress.SnappyCodec

三.进行压缩相关参数设置

有2个阶段是需要考虑进行压缩的，如下：

• 第1个阶段：中间传输数据时
• 第2个阶段：最终输出数据时

3.1 开启中间压缩

1） 作用
减少job中map 和 reduce task 间的数据传输量。

2）选择要点
选择1个低CPU开销的编解码器 更重要。 （重要程度：低CPU开销>高压缩率）。

3）参数设置

• 第一步：开启中间压缩。

set hive.exec.compress.intermediate=true;   

• 第二步：选择合适的用于中间压缩的 编码/解码器。
  在hadoop中默认的编码/解码器是DefaultCodec。而比较好的中间文件压缩 编码/解码器是SnappyCodec,它很好地考虑了低CPU开销 和 好的压缩执行效率。

set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;  

3.2 开启输出结果压缩

1） 作用
降低最后输出结果的存储空间，同时要考虑后续在另1个任务中使用该输出结果时的读取效率问题。

2）选择要点
在压缩比、压缩速度、解压速度等方面综合考量。

3）参数设置

• 第一步：开启输出结果压缩

set hive.exec.compress.output=true;  

• 第二步：选择合适的用于输出结果压缩的 编码/解码器

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;    

思考题：在执行Hive任务时都需要使用压缩格式吗？

• 不是。因为使用压缩格式也是需要代价的，压缩和解压在执行时会增加额外的CPU开销，所以确定是否进行压缩要考虑Hadoop的Job类型（I/O密集型或CPU密集型）。当Job类型是CPU密集型时，使用压缩可能会降低执行性能。

但是，在实际应用时，一般都会选择进行压缩，因为压缩增加的CPU开销并不会很大，却能节约非常可观的磁盘空间。

四.总结

以上就是今天要讲的内容，本文介绍了Haoop中的压缩格式及使用，更多的使用可查看官方文档。