大数据存储格式和压缩格式的比较

存储格式

众所周知，大数据有两种存储格式：行存储、列存储，下面我们就来比较一下这两种存储格式的区别。首先来看一下两种格式的数据排列方式：

行存储数据排列

列存储数据排列

性能比较

两种存储格式都有各自的优缺点：行存储的写入是一次性完成，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略；数量大可能会影响到数据的处理效率。列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域

参考：https://www.infoq.cn/article/bigdata-store-choose/

压缩格式

在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性。
下面是Hadoop 对每个压缩格式的支持：

性能对比

因此我们可以得出：

1. Bzip2 压缩效果明显是最好的，但是 bzip2 压缩速度慢，可分割。

2. Gzip 压缩效果不如 Bzip2，但是压缩解压速度快，不支持分割。

3. LZO 压缩效果不如 Bzip2 和 Gzip，但是压缩解压速度最快！并且支持分割！

参考：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-compression-analysis/