Parquet 写数据过程及源代码分析

最新推荐文章于 2024-05-26 00:15:00 发布
最新推荐文章于 2024-05-26 00:15:00 发布
阅读量4.3k 收藏 2
点赞数
分类专栏： Java的一些源代码 文章标签： 源代码 parquet 写 数据 流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingtanzjr/article/details/50818254
版权
本文深入分析了Parquet写数据的过程，详细介绍了涉及的主要类，包括压缩操作、Page组织、ColumnWriter和PageWriter的角色。还探讨了ColumnWriterStore、Store和RowGroup的关系，以及如何通过RecordConsumer和GroupWriter协调数据写入。流程图展示了数据在内存中的写入路径。
摘要由CSDN通过智能技术生成

Parquet写数据过程及源代码分析

本文主要从parquet写数据的角度进行分析，主要涉及parquet从拿到数据模型到最终将一条记录经过计算、编码、压缩等过程写入内存的过程（暂时没有包括写入文件的过程，后续补充）。主要从以下几个方面进行介绍：
  • 写流程涉及的类
  • 写数据的过程

先看看在这个过程中涉及的类及其作用

这里介绍的类都是一些基类，具体的实现类大家可以去看里面具体的实现类...

valueWriter: 这个类是一个父类，主要涉及相应的压缩操作，算是在写入文件之前最后调用的类。这个类不需要知道自己的输入具有什么含义，只需要按照相应的规则对输入的byte进行压缩即可，然后将输出结果保存在自己维护的一个ByteArrayOutputStream里面。

pageWriter: 从类名可以直接看出，这个类是将数据按照page进行组织的一个类。它本身不涉及任何编码与压缩操作，它的作用是与valueWriter相配合，当valueWriter中的数据量达到一定阈值的时候，系统会将其中的数据写入到pageWriter中，具体后面会给出解析。

ColumnWriter: 这个类是对一列进行写入操作的类，这个类包含一个pageWriter和三个valueWriter，三个valueWriter的作用分别是写入Value、Repeation level 、Definition l

最低0.47元/天 解锁文章
xingtanzjr
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Parquet 编码方式
乔的博客
05-16 2447
虽然 Parquet 的文档里写了很多编码方式 （https://github.com/apache/parquet-format/blob/master/Encodings.md ），但实际上 Parquet 只支持两种编码：Delta Encoding，Dictionary Encoding。而且不能一起使用。（https://issues.apache.org/jira/browse/PAR...
Spark写Parquet源码分析
orisonchan的博客
01-23 2327
Spark层面 Spark层面我们从dataframe.write.parquet("path")说起。 In DataFrame Dataset中的write()方法： /** * Interface for saving the content of the non-streaming Dataset out into external storage. * * @group...
Parquet文件格式详解（含行、列式存储区别）
最新发布
喻师傅的学习笔记
05-26 1207
行、列式文件存储详解
Parquet 元数据相关源码分析
zhixingheyi_tian的博客
02-21 510
ParquetMetadata.java 功能说明 Meta Data block stored in the footer of the file contains file level (Codec, Schema, …) and block level (location, columns, record count, …) meta data. 主要成员变量 private final F...
Parquet 读文件源码剖析之 ParquetFileReader
zhixingheyi_tian的博客
11-02 1604
ParquetFileReader ParquetFileReader.java /** * @param conf the Hadoop Configuration * @param file Path to a parquet file * @param filter a {@link MetadataFilter} for selecting row groups ...
Parquet RLE/BitPack编码
weixin_43029346的博客
01-11 1400
默认情况下，Parquet 中根据 Schema 中定义的列类型在 DefaultValuesWriterFactory 进行类型匹配，选择对应的 writer 进行该列数据处理，本文通过 Binary 类型字段的写入过程 static DictionaryValuesWriter dictionaryWriter(ColumnDescriptor path, ParquetProperties properties, Encoding dictPageEncoding, Encoding dataPa.
Spark源码编译支持Parquet存储格式
逝无痕——kaidy
03-05 1554
文章目录Spark源码编译Hadoop-Parquet相关jar包下载查找与系统（此处以hive为例）的parquet版本号下载hadoop-parquet相关jar包Spark配置 Spark源码编译 Spark源码编译方式部署Spark时，为了支持Parquet功能，需要在源码编译时指定支持Parquet功能（即在编译命令中带上”parquet-provided“参数），具体的编译命令如下： ...
Spark SQL上海摩拜共享单车数据分析源码
04-23
在这个"Spark SQL上海摩拜共享单车数据分析源码"项目中，开发者利用Spark SQL对上海摩拜共享单车的数据进行了深入分析。项目采用Java语言编写，并借助Maven构建工具来管理依赖项，确保了项目的可重复性和稳定性。 ...
数仓项目实战-网站点击流数据分析项目
03-11
抽取是从源系统获取数据，转换是清洗和处理数据，加载则是将处理后的数据存入数据仓库。 5. 数据存储：对于大规模的网站点击流数据，可能需要使用分布式文件系统（如HDFS）和列式存储（如HBase、Parquet）来存储。...
Spark-Parquet
06-21
在提供的压缩包文件`Spark-Parquet-master`中，很可能包含了源代码实现，包括Spark应用的主类、配置文件、测试用例等。通过阅读和分析这些代码，可以更深入地理解如何在实际项目中实现TSV到Parquet的转换，并学习...
录制数据集的代码.zip
12-29
通过查看源代码，我们可以学习如何系统地构建和管理数据集，这对任何数据科学项目都是至关重要的。如果项目还包含样例数据，那么它也可以作为实践操作的实例，帮助我们更好地理解数据处理的全过程。在实际应用中，...
Parquet格式：Apache Parquet
02-03
木地板 Parquet是一种支持嵌套数据的列式存储格式。 实木复合地板元数据使用Apache Thrift进行编码。 Parquet-format项目包含所有Thrift定义，这些定义对于创建Parquet文件的读取器和写入器是必需的。 动机 我们创建Parquet是为了使Hadoop生态系统中的任何项目都可以使用压缩的，高效的列式数据表示形式。 Parquet是从头开始构建的，考虑到了复杂的嵌套数据结构，并使用了Dremel论文中描述的。 我们相信这种方法优于嵌套名称空间的简单扁平化。 Parquet构建为支持非常有效的压缩和编码方案。 多个项目已经证明了对数据应用正确的压缩和编码
parquet-mr：Apache Parquet
02-03
实木复合地板 Parquet-MR包含的java实现。 Parquet是Hadoop一种列式存储格式； 它提供了有效的数据存储和编码。 Parquet使用Dremel论文中描述的来表示嵌套结构。 您可以在我们的找到有关格式和预期用例的一些详细信息 建造 Parquet-MR使用Maven构建并依赖于节俭的编译器（协议现在由maven插件管理）。 安装Thrift 要构建并安装节俭的编译器，请运行： wget -nv http://archive.apache.org/dist/thrift/0.13.0/thrift-0.13.0.tar.gz tar xzf thrift-0.13.
petastorm：Petastorm库可对Apache Parquet格式的数据集进行单机或分布式培训以及对深度学习模型的评估。 它支持Tensorflow，Pytorch和PySpark等ML框架，并且可以从纯Python代码中使用
02-04
这意味着开发者可以在这些框架中直接利用Parquet数据集，无需转换格式，简化了数据预处理流程。 2. **Python友好**：Petastorm完全用Python编写，这使得它易于理解和使用，同时能够方便地与其他Python库集成，为...
一文讲透大数据列存标准格式：Parquet
过往记忆大数据
03-02 3074
导读： 今天介绍一种大数据时代有名的列式存储文件格式：Parquet，被广泛用于 Spark、Hadoop 数据存储。Parquet 中文直译是镶木地板，意思是结构紧凑，空间占用率高。 1、概念 大规模分析型数据处理在互联网乃至其他行业中应用都已越来越广泛，尤其是当前已经可以用廉价的存储来收集、保存海量的业务数据情况下。如何让分析师和工程师便捷的利用这些数据也变得越来越重要。列式存储（Column-oriented Storage）是大数据场景面向分析型数据的主流存储方式。与行式存储相比...
Spark SQL下的Parquet使用最佳实践和代码实战
sundujing的博客
05-17 1万+
一：Spark SQL下的Parquet使用最佳实践1，过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式：A）Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> SparkSQL/impala -> Result Service(可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用)；B
Parquet 文件是如何编写的——行组、页面、所需内存和刷新操作
shengjk1的博客
04-11 450
假如一个列的的原始数据没超过page的大小阈值，然后下一个page的大小会基于当前的实际列的大小进行调整，所以它既不是每一个列数据都检查一下，也不是每100列数据检查一下。所以，一个Row Group包含了一些行的所有列（在一个文件中是可以变的，下面会提到），对于一个Row Group，首先你看到的是一个列的内容，再者是第二列的内容，以此类推。每一Page包含了元数据（Page header），元数据中包含了未压缩的数据大小，值的数量，以及统计信息：在这个page中这个列的最大最小值和null值的数量。
Parquet的那些事（一）基本原理
热门推荐
茅庐
03-09 1万+
本文阐述了Parquet的价值、基本文件结构、Predicate Pushdown Filter特性以及常用的工具。
使用java生成parquet格式文件的过程及示例
04-26
生成Parquet格式文件需要使用Parquet工具包，以下是使用Java生成Parquet格式文件的示例代码： ```java import org.apache.hadoop.fs.Path; import org.apache.parquet.column.ParquetProperties; import org.apache...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值