大数据中常用的几种数据格式对比(avro、orc、parquet)

不同数据格式特点

1). AVRO:

1. 主要为行存储
2. 设计的主要目标是为了满足schema evolution
3. schema和数据保存在一起

2). ORC：

面向列的存储格式

1. 由Hadoop中RC files 发展而来，比RC file更大的压缩比，和更快的查询速度
2. Schema 存储在footer中
3. 不支持schema evolution
4. 支持事务(ACID)
5. 为hive而生，在许多non-hive MapReduce的大数据组件中不支持使用
6. 高度压缩比并包含索引

3). Parquet：

1. 与ORC类似，基于Google dremel
2. Schema 存储在footer
3. 列式存储
4. 高度压缩比并包含索引
5. 相比ORC的局限性，parquet支持的大数据组件范围更广

如何选择不同的数据格式

考虑因素：

1. 读写速度
2. 按行读多还是按列读多
3. 是否支持文件分割
4. 压缩率
5. 是否支持schema evolution

不同数据格式最佳实践

1. 读取少数列可以选择面向列存储的ORC或者Parquet
2. 如果需要读取的列比较多，选择AVRO更优
3. 如果schema 变更频繁最佳选择avro
4. 实际上随着版本不断更新，现在parquet和orc都在一定程度上支持schema evolution，比如在最后面加列
5. ORC的查询性能优于Parquet