大数据之数据的压缩与存储

---

前言

由于大数据需要存储的数据较多，如果直接存储原始数据，将会占用较多的硬盘空间，于是就诞生了存储方式和压缩方式，以一定的算法降低数据占用的空间，并且保证数据不丢失，从而提高空间的利用率。

一、Hive的压缩方式

（一） 概念

（1）Hive底层为MapReduce，所以Hive的压缩实际就是MapReduce的压缩
（2）MapRedece的压缩分为Map端结果文件压缩和Reduce端结果文件压缩

（二） 简介

压缩方式常用的有Deflate，Snappy，ZLib，Gzip和Bzip2，不同的压缩方式效率不同；
（1） 从压缩比来说，Bzip2 > ZLib > Gzip > deflate > Snappy，除了Snappy之外的压缩方式可以保证最小的压缩，但是在运算过程中时间消耗较大；
（2）从压缩性能上来说， Snappy > Deflate > Gzip > Bzip2，其中，Snappy压缩和解压缩速度快，压缩比低。
所以一般在生产环境中，经常会采用snappy压缩，以保证运算效率