parquet格式_数据工程101:揭开Hadoop数据格式的神秘面纱：Avro，ORC和Parquet

Hadoop中广泛使用的三种数据格式的核心概念和用例：Avro，ORC和Parquet。

> Source: Apache Avro, Apache ORC, and Apache Parquet

如果使用Hadoop，则可能会遇到需要为数据选择正确格式的情况。 在此博客文章中，我将讨论Hadoop中广泛使用的三种数据格式的核心概念和用例：Avro，ORC和Parquet。

什么是Avro / ORC /Parquet？

Avro是基于行的数据格式，是Hadoop工作组于2009年发布的数据序列化系统的缩写。数据模式以JSON(表示人类可读)形式存储在标头中，而其余数据则以二进制格式存储。 Avro的一个亮点是它对模式演变的强大支持。

ORC是行列式数据格式，经过高度优化，可以在Hive中读取，写入和处理数据，它是Hortonworks于2013年创建的，是Stinger计划的一部分，旨在提高Hive的速度。 ORC文件由数据带组成，其中每个带包含索引，行数据和页脚(其中方便地缓存了每个列的关键统计信息，例如count，max，min和sum)。

Parquet是Cloudera和Twitter在2013年创建的行列数据格式。Parquet文件由行组，页眉和页脚组成，在每一行组中，同一列中的数据存储在一起。 Parquet专门从事有效存储和处理嵌套数据类型的工作。

要考虑的事情

读/写密集型和查询模式：基于行的数据格式总体上更适合存储密集型写数据，因为附加新记录更容易。 如果仅经常查询一小部分列，则列格式将是您的好朋友，因为只有那些需要的列将被访问和传输(而行格式需要提取所有列)。

压缩：压缩是此处要考虑的关键方面之一，因为压缩有助于减少存储和传输数据所需的资源。 特别是当您获得大量数据(例如IoT数据)时，您需要良好的压缩率。 列格式比基于行的格式在压缩方面要好，因为将相同类型的值存储在一起可以实现更有效的压缩。 具体而言，对每一列使用不同且更有效的编码。 这就是为什么列格式适用于稀疏数据集的原因！ 由于具有条纹，ORC的压缩率在所有三个中均最佳。

模式演变：处理大数据的挑战之一是数据模式的频繁更改。 添加/删除列和更改列名称。 如果您的数据架构发生了很大变化，并且您需要对旧/新应用程序具有高度的兼容性，那么Avro可以为您服务。 此外，Avro的数据模式采用JSON，即使存在许多不同的模式，Avro仍可保持数据紧凑。

嵌套列：如果数据集中有很多复杂的嵌套列，并且通常仅查询子列的子集，则Parquet是一个不错的选择。 Parquet是使用Dremel论文中描述的记录粉碎和组装算法实现的，该算法允许您访问和检索子列，而无需拉动其余的嵌套列。

平台支持：最后但并非最不重要的一点是，在选择数据格式时，应考虑所使用的平台/框架，因为数据格式根据使用位置的不同而有所不同。 ORC与Hive配合使用效果最佳(因为它是为Hive设计的)。 Spark为处理Parquet格式提供了强大的支持。 Avro通常是卡夫卡的不错选择。

(本文翻译自Xinran Waibel的文章《Demystify Hadoop Data Formats: Avro, ORC, and Parquet》，参考：https://towardsdatascience.com/demystify-hadoop-data-formats-avro-orc-and-parquet-e428709cf3bb)