7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法

一瓢一瓢的饮 alanchanchn

已于 2024-08-13 08:43:44 修改

阅读量6.9w

点赞数

分类专栏： # hadoop专栏文章标签：大数据 hadoop 分布式 hdfs bigdata

于 2023-04-24 10:59:13 首次发布

本文链接：https://blog.csdn.net/chenwewi520feng/article/details/130337213

版权

25 篇文章

订阅专栏

Hadoop系列文章目录

在这里插入图片描述

同一行数据存储在一起。存储时，只需要往文件后面添加即可。查询时，需要找到每行对应列所在的位置并检索出来
在这里插入图片描述

同一列数据存储在一起。存储时，需要将每列的数据放在对应的位置，并需要挪动其他列的数据所在位置。查询时，只需要找到其列所在位置检索出来
在这里插入图片描述

行存储的写入是一次性完成，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略；数量大可能会影响到数据的处理效率。行适合插入、不适合查询
列存储在写入效率、保证数据完整性上都不如行存储，缺点是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域。列适合查询，不适合插入

Sequence File–record 、block

Apache Avro是与语言无关的序列化系统，由Hadoop创始人 Doug Cutting开发
Avro是基于行的存储格式，它在每个文件中都包含JSON格式的schema定义，从而提高了互操作性并允许schema的变化（删除列、添加列）。除了支持可切分以外，还支持块压缩
Avro是一种自描述格式，它将数据的schema直接编码存储在文件中，可以用来存储复杂结构的数据
Avro直接将一行数据序列化在一个block中
适合于大量频繁写入宽表数据（字段多列多）的场景，其序列化反序列化很快

Hive Record Columnar File（记录列文件），这种类型的文件首先将数据按行划分为行组，然后在行组内部将数据存储在列中。很适合在数仓中执行分析。且支持压缩、切分
不支持schema扩展，如果要添加新的列，则必须重写文件，这会降低操作效率

ORC File（Optimized Row Columnar）提供了比RC File更有效的文件格式。它在内部将数据划分为默认大小为250M的Stripe。每个条带均包含索引，数据和页脚。索引存储每列的最大值和最小值以及列中每一行的位置
它并不是一个单纯的列式存储格式，仍然是首先根据Stripe分割整个表，在每一个Stripe内进行按列存储
ORC有多种文件压缩方式，并且有着很高的压缩比。文件是可切分（Split）的
ORC文件是以二进制方式存储的，不可以直接读取

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里成为Apache顶级项目
Parquet文件是以二进制方式存储的，不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的
支持块压缩
Parquet File–结构
Parquet 的存储模型主要由行组（Row Group）、列块（Column Chuck）、页（Page）组成
在水平方向上将数据划分为行组，默认行组大小与 HDFS Block 块大小对齐，Parquet 保证一个行组会被一个 Mapper 处理。行组中每一列保存在一个列块中，一个列块具有相同的数据类型，不同的列块可以使用不同的压缩。Parquet 是页存储方式，每一个列块包含多个页，一个页是最小的编码的单位，同一列块的不同页可以使用不同的编码方式
文件的首位都是该文件的Magic Code，用于校验它是否是一个Parquet文件

Apache Arrow是一个跨语言平台，是一种列式内存数据结构，主要用于构建数据系统
Apache Arrow在2016年2月17日作为顶级Apache项目引入
Arrow促进了许多组件之间的通信
极大的缩减了通信时候序列化、反序列化所浪费的时间

Arrow如何提升数据移动性能
利用Arrow作为内存中数据表示的两个过程可以将数据从一种方法“重定向”到另一种方法，而无需序列化或反序列化。例如，Spark可以使用Python进程发送Arrow数据来执行用户定义的函数
无需进行反序列化，可以直接从启用了Arrow的数据存储系统中接收Arrow数据。例如，Kudu可以将Arrow数据直接发送到Impala进行分析
Arrow的设计针对嵌套结构化数据（例如在Impala或Spark Data框架中）的分析性能进行了优化