流式数据湖平台Hudi核心概念二：表和查询类型

shangjg3

已于 2023-10-11 16:23:37 修改

阅读量148

点赞数

分类专栏：数据湖Hudi 文章标签： spark 大数据数据仓库 flink 分布式

于 2023-10-10 10:53:58 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/133742092

版权

数据湖Hudi 专栏收录该内容

12 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Hudi数据湖平台中的表类型，包括Copy On Write和Merge On Read，以及对应的查询类型，如快照查询、增量查询等。Hudi通过不同的表类型和查询配置，实现了分析工作负载的高效读写，支持近实时的数据处理。

摘要由CSDN通过智能技术生成

Hudi表类型定义了如何在DFS上对数据进行索引和布局，以及如何在此类组织之上实现上述原语和时间线活动（即如何写入数据）。反过来，查询类型定义了底层数据如何向查询公开（即如何读取数据）。

表类型	支持的查询类型
Copy On Write	快照查询

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shangjg3

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

流式数据湖平台Hudi核心概念四：文件布局

shangjg3的博客

11-09

243

表被划分为多个分区，这些分区是包含该分区的数据文件的文件夹，非常类似于。以时间轴的形式维护了在数据集上执行的所有操作的元数据；，这些日志文件包含自生成基本文件以来对基本文件的插入。目录对应着表的元数据信息，包括表的版本管理（）在每个分区中，文件被组织成文件组，由文件。操作：合并日志和基本文件以产生新的文件片。文件）是自己编码的，通过积攒数据。旧的文件片以回收文件系统上的空间。）每个文件组包含几个文件片（将一个表映射为如下文件结构。）、归档目录（存放过时的。）的行为、时间戳和状态，的实现中实现高效率的。

流式数据湖平台Hudi核心概念三：索引

shangjg3的博客

10-11

316

当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当已经存在的记录与存储中的记录相比被打乱到新分区时，设置此配置时，将删除旧分区中的旧记录，并将其作为新记录插入新分区。，但也分布在从旧到新的数据集中的许多分区和数据文件中。

参与评论您还未登录，请先登录后发表或查看评论

数据湖之Hudi基础：核心原理

maoyuanming0806的博客

01-17

1137

数据湖核心概念，copy on write，merge on read，Hudi的核心是维护表上在不同的即时时间（instants）执行的所有操作的时间轴（timeline）Hudi通过索引机制提供高效的upserts简称MOR表。包含列存的基本文件（.parquet）和行存的增量日志文件（基于行的avro格式，.log.*）。

流式数据湖平台Hudi核心概念一：时间线

shangjg3的博客

10-10

236

顾名思义，为了在有效数据文件上提供元数据，并确保随着时间线的增长，对时间线的读取不会产生不必要的延迟，活动时间线需要以可以提供的元数据（时间线瞬间）为界。它提供了一套API和工具，可以帮助用户在数据湖中进行写入、更新、删除和查询等操作，并提供了高效的数据索引和存储机制，以加速数据的访问和处理。还提供了用于数据管理的元数据存储和查询功能，可以跟踪数据的版本、变更历史和元数据信息。一个关键的观察结果是，提交时间表示数据的到达时间是上午10:20，而实际的数据组织反映了数据的实际时间或事件时间。

数据湖——Hudi基本概念

友培的博客

10-24

4055

hudi

数据湖架构Hudi（三）Hudi核心概念

qq_44665283的博客

03-01

2782

数据湖架构Hudi（三）Hudi核心概念

【Hudi】数据湖Hudi核心概念与架构设计总结

最新发布

血雾冥王

01-27

161

Spark入门，在python中如何使用Spark,包括安装、数据输入和转换以及使用算子进行计算

springboot基于spark的保险平台用户行为分析与研究

QQ2743785109的博客

01-24

518

基于Spring Boot和Spark的保险平台用户行为分析与研究是一个结合了现代后端开发框架与大数据处理技术的创新项目。随着保险行业的快速发展，保险公司积累了大量的用户行为数据。这些数据包括用户的浏览记录、投保行为、理赔申请等，对于深入理解用户需求、优化产品设计和服务质量具有重要意义。基于Spring Boot和Spark的保险平台用户行为分析与研究项目，旨在利用这些数据进行高效的数据处理和分析，挖掘用户行为模式和偏好，为保险业务提供数据驱动的决策支持。Spring Boot：作为后端开发框架，Sprin

spark运行流程

m0_51192710的博客

01-26

340

spark运行流程

Langchain+讯飞星火大模型Spark Max调用

qq_41946216的博客

01-23

527

Websocket服务接口认证信息。点击右上角控制台，创建新应用。

Spark Streaming编程基础

howard2005的专栏

01-23

889

本实战演示了如何使用 Spark Streaming 实现实时词频统计。通过创建 Spark Streaming 项目，添加依赖，编写 Scala 代码，监听网络端口接收数据流，并按批次处理数据。利用 `nc` 工具发送数据，程序每10秒统计一次词频并输出结果。该示例展示了 Spark Streaming 的微批处理特性，适用于实时数据处理场景。

windows下本地部署安装hadoop+scala+spark-【不需要虚拟机】

wangning0714的博客

01-22

1288

安装java并配置环境变量【如果未安装搜索其他教程】

Hadoop 与 Spark：大数据处理的比较

想看什么文章都可以私信给我，综合性博客。

01-17

1689

Hadoop 是一个开源的分布式计算平台，最初由 Yahoo 提出并开源，现已成为 Apache 项目。Hadoop 的核心组成包括 Hadoop Distributed File System（HDFS）和 MapReduce 计算框架。Spark 是一个开源的大数据计算框架，由加州大学伯克利分校的AMPLab 开发，并于 2010 年成为 Apache 项目。

计算机毕业设计hadoop+spark+hive图书推荐系统豆瓣图书数据分析可视化大屏豆瓣图书爬虫知识图谱图书大数据 大数据毕业设计机器学习

全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战

01-24

1523

计算机毕业设计hadoop+spark+hive图书推荐系统豆瓣图书数据分析可视化大屏豆瓣图书爬虫知识图谱图书大数据 大数据毕业设计机器学习

计算机毕业设计hadoop+spark股票基金推荐系统股票基金预测系统股票基金可视化系统股票基金数据分析股票基金大数据 股票基金爬虫

全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战

01-23

1652

计算机毕业设计hadoop+spark股票基金推荐系统股票基金预测系统股票基金可视化系统股票基金数据分析股票基金大数据 股票基金爬虫

PySpark之金融数据分析（Spark RDD、SQL练习题）

weixin_44458771的博客

01-21

910

本文使用的数据来源于天池大赛数据集，由蚂蚁金服提供，包含用户基本信息、申购赎回记录、收益率、银行间拆借利率等多个维度，本文通过PySpark实现对该数据集的简单分析。

计算机毕业设计Python+Django农产品推荐系统农产品爬虫农产品商城农产品大数据 农产品数据分析可视化 PySpark Hadoop

全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战

01-19

1663

计算机毕业设计Python+Django农产品推荐系统农产品爬虫农产品商城农产品大数据 农产品数据分析可视化 PySpark Hadoop