数据治理 - TextFile格式Hive表压缩优化实践

背景

由于缺少统一的规范落地和平台工具支持，大部分的业务人员、技术人员在建表时并没有考虑到 Hive表 格式的重要性。随着数据量的上升，TextFile格式的存储浪费情况越来越严重

在数仓建设中，除了ODS层的表使用TextFile来加快数据加载外，其他层的 Hive 表都应该使用具有高压缩比的 ORC 等存储格式

Hive表 具有多种存储格式，这里先简单介绍两种存储格式：TextFile 和 ORC

TextFile

数据按行存储，默认无压缩，可选择数据压缩方式

TextFile格式的 Hive表，数据加载速度快。数仓的 ODS层 一般使用 TextFile 格式来加快数据的加载速度

TextFile具有几个明显的缺点：

1. 数据未压缩时，存储空间消耗大
2. 数据压缩后无法进行分割和合并
3. 数据按行存储
   1. 一行数据类型难以保持一致，压缩比低
   2. 查询只涉及某几个列时，它也会把整行数据都读取出来，不能跳过不必要的列读取

ORC

是RCFile格式的优化版，即 Optimized RCFile

数据按列存储，对于一行记录，只会读取查询需要的列数据，可以加快查询速度

由于列数据格式一致，通常具有较高的压缩比，可以有效的减少存储空间

存储大小比较

笔者对一组TextFile格式的Hive表进行了压缩测试，可以发现：ORC格式的存储大小通常只有TextFile格式的一半，甚至更少

对于一些int类型列比较多的表，ORC的存储大小甚至只是TextFile格式的1.88%，压缩比高达50多倍！

压缩前的思考

先不考虑如何将TextFile格式转化成ORC应该怎么做，先来思考一下存储格式的变化会对原有生产任务带来哪些影响

存储格式的变化

Hive Meta中有一张表SDS，其中记录了Hive表的输入输出格式类：INPUT_FORMAT、OUTPUT_FORMAT

不同的存储格式，会使用不同的输入输出格式类