Hadoop文件存储格式（Avro、Parquet、ORC及其他）

RunningShare

已于 2022-07-30 20:03:22 修改

阅读量3.8k

点赞数 1

分类专栏： Hadoop 文章标签：大数据 hadoop 数据仓库

于 2022-07-30 20:01:42 首次发布

原文链接：https://zhuanlan.zhihu.com/p/459444652

版权

Hadoop 专栏收录该内容

40 篇文章 1 订阅

订阅专栏

1. TextFile

默认格式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大。可结合 Gzip、Bzip2 使用(系统自动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持 split，Hive 不会对数据进行切分，从而无法对数据进行并行操作。并且在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比 SequenceFile 高几十倍。

2. SequenceFile

SequenceFile 是 Hadoop API 提供的一种二进制文件支持，存储方式为行存储，其具有使用方便、可分割、可压缩的特点。

SequenceFile 支持三种压缩选择：NONE，RECORD，BLOCK。Record 压缩率低，一般建议使用 BLOCK 压缩。

优势是文件和 hadoop api 中的 MapFile 是相互兼容的。

3、RCFile

存储方式：数据按行分块，每块按列存储。结合了行存储和列存储的优点：

首先，RCFile 保证同一行的数据位于同一节点，因此元组重构的开销很低；

其次，像列存储一样，RCFile 能够利用列维度的数据压缩，并且能跳过不必要的列读取；

4、ORCFile（下文详细阐述）

存储方式：数据按行分块每块按照列存储。

压缩快、快速列存取。

效率比 RCfile 高，是 RCfile 的改良版本。

总结：

相比 TEXTFILE 和 SEQUENCEFILE，RCFILE 由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。

数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE 相比其余两种格式具有较明显的优势。

为什么我们需要不同的文件格式？

对于 MapReduce 和 Spark 等支持 HDFS 的应用程序来说，一个巨大的瓶颈是在特定位置查找相关数据所需的时间以及将数据写回另一个位置所需的时间。这些问题随着管理大型数据集的困难而变得复杂，例如不断发展的模式或存储限制。

在处理大数据时，存储此类数据所需的成本更高（Hadoop 冗余存储数据以实现容错）。除了存储成本之外，处理数据还伴随着 CPU、网络、IO 成本等。随着数据的增加，处理和存储的成本也随之增加。

各种 Hadoop 文件格式在数据工程解决方案中得到了发展，以缓解许多用例中的这些问题。

选择合适的文件格式可以带来一些显着的好处：

更快的读取时间
更快的写入时间
可拆分文件
模式演变支持
高级压缩支持

一些文件格式是为一般用途而设计的，另一些是为更具体的用例而设计的，还有一些是为特定数据特征而设计的。所以有相当多的选择。

Avro 文件格式

Avro 格式是 Hadoop 的一种基于行的存储格式，被广泛用作序列化平台。

Avro 格式以 JSON 格式存储模式，使其易于被任何程序读取和解释。

数据本身以二进制格式存储，使其在 Avro 文件中紧凑且高效。

vro格式是语言中立的数据序列化系统。它可以被多种语言处理（目前是 C、C++、C#、Java、Python 和 Ruby）。

Avro 格式的一个关键特性是对随时间变化的数据模式的强大支持，即模式演变。Avro 处理模式更改，例如缺少字段、添加的字段和更改的字段。

Avro 格式提供了丰富的数据结构。例如，您可以创建包含数组、枚举类型和子记录的记录。

Avro 格式是在数据湖登陆区存储数据的理想选择，因为：

1.落地区的数据通常被整体读取，以供下游系统进一步处理（这种情况下基于行的格式效率更高）。

2. 下游系统可以轻松地从 Avro 文件中检索表模式（无需将模式单独存储在外部元存储中）。

3. 任何源模式更改都很容易处理（模式演变）。

列式存储格式

为了更好地理解 Hadoop 中的 Parquet 和ORC 文件格式，首先我们来看看什么是列式存储格式。在面向列的格式中，记录中相同类型的每一列的值存储在一起。

例如，如果有一条记录包含 ID、员工姓名和部门，则 ID 列的所有值将存储在一起，Name 列的值将存储在一起，等等。如果我们采用与上述相同的记录模式，具有三个字段 ID (int)、NAME (varchar) 和 Department (varchar)，则该表将如下所示：

对于此表，按行存储格式的数据将按如下方式存储：

然而，面向列的存储格式中的相同数据将如下所示：

当您需要从表中查询几列时，列式存储格式更有效。它将只读取所需的列，因为它们是相邻的，从而最小化 IO。

例如，假设您只需要 NAME列。在行存储格式中，必须加载数据集中的每条记录，将其解析为字段，并提取名称的数据。面向列的格式可以直接转到 Name 列，因为该列的所有值都存储在一起。它不需要遍历整个记录。

因此，面向列的格式提高了查询性能，因为转到所需列所需的查找时间更少，并且由于只需要读取需要数据的列，因此需要更少的 IO。

Parquet文件格式

Parquet 是 Hadoop 的一种开源文件格式，以扁平列格式存储嵌套数据结构。

Parquet文件格式优点

与以行方式存储数据的传统方法相比，Parquet文件格式在存储和性能方面更高效。
这对于从“宽”（具有许多列）表中读取特定列的查询特别有用，因为只读取需要的列，并且最小化 IO。
Parquet的独特功能之一是它也可以以柱状方式存储具有嵌套结构的数据。这意味着在 Parquet 文件格式中，即使是嵌套字段也可以单独读取，而无需读取嵌套结构中的所有字段。Parquet 格式使用记录分解和组装算法以柱状方式存储嵌套结构。

Parquet 文件格式结构组成

Header： 包含一个幻数“PAR1”（4 字节），用于将文件标识为 Parquet 格式文件。
Row group（行组）：将数据逻辑水平划分为行。行组由数据集中每一列的列块组成。
Column chunk（列块）：特定列的数据块。这些列块存在于特定的行组中，并保证在文件中是连续的。
Page（页面）：列块被分成背靠背写的页面。这些页面共享一个标准标题，读者可以跳过他们不感兴趣的页面。
Footer（页脚）：
- 文件元数据- 文件元数据包含所有列元数据起始位置的位置。它还包括格式版本、架构和任何额外的键值对。读者应该首先读取文件元数据以找到他们感兴趣的所有列块。然后应该顺序读取列块。
- 文件元数据的长度（4 字节）
- 幻数“PAR1”（4 字节）