HIVE压缩及存储方式

最新推荐文章于 2022-11-02 15:26:02 发布

weixin_46290444

最新推荐文章于 2022-11-02 15:26:02 发布

阅读量731

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/weixin_46290444/article/details/125639703

版权

几种压缩方式的优缺点及应用场景

1. Gzip

优点：压缩率比较高，压缩/解压速度也比较快，hadoop本身支持。
缺点：不支持分片。
应用场景：当每个文件压缩之后在1个block块大小内，可以考虑用gzip压缩格式。

2. Bzip2

优点：支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。
缺点：压缩/解压速度慢，不支持Hadoop native库。
应用场景：可以作为mapreduce作业的输出格式，输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘

空间并且以后数据用得比较少的情况。

3. LZO

优点：压缩/解压速度也比较快，合理的压缩率，支持分片，是Hadoop中最流行的压缩格式，支持Hadoop native库。可以在linux系统下安装lzop命令，使用方便。
缺点：压缩率比gzip要低一些，Hadoop本身不支持，需要安装，如果支持分片需要建立索引，还需要指定inputformat改为lzo格式。
应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越明显。

4. Snappy

优点：支持Hadoop native库，高速压缩速度和合理的压缩率。
缺点：不支持分片，压缩率比gzip要低，Hadoop本身不支持，需要安装。
应用场景：当MapReduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式。

5. 总结

压缩比： bzip2 > gzip > lzo > snappy
压缩和解压缩速度，与压缩比成反比： snappy > lzo> gzip > bzip2
BZip2，LZO提供了块（BLOCK)级别的压缩，支持split切分；而snappy，gzip将文件中记录的边界信息掩盖掉了，因此不支持split切分

Hive可概括为六种存储格式

TEXTFILE
SEQUENCEFILE
AVRO FILE
PARQUET
RCFILE
ORCFILE

在其中textfile为默认格式，如果在创建hive表不提及，会默认启动textfile格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；与此同时，sequencefile，rcfile，orcfile自己不能直接从本地导入数据，需要将数据转为textfile格式，才能导入三种不同的格式。

(二) 简单介绍其特点

1. TEXTFILE

理论

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。

可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
存储方式：行存储

2. SEQUENCEFILE

理论

二进制文件,以<key,value>的形式序列化到文件中；

SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点；

SequenceFile支持三种压缩选择：NONE，RECORD，BLOCK；

Record压缩率低，一般建议使用BLOCK压缩；
存储方式：行存储

3. AVRO FILE

理论

Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。
存储方式：Avro依赖模式(Schema)来实现数据结构定义。可以把模式理解为Java的类，它定义每个实例的结构，可以包含哪些属性。可以根据类来产生任意多个实例对象

4. PARQUET

是一种列式数据存储格式，可以兼容多种计算引擎，如MapRedcue 和Spark等，对多层嵌套的数据结构提供了良好的性能支持，是目前Hive 生产环境中数据存储的主流选择之一。

5. RCFILE