流式数据湖平台Hudi核心概念二：表和查询类型

shangjg3

已于 2023-10-11 16:23:37 修改

阅读量119

点赞数

分类专栏：数据湖Hudi 文章标签： spark 大数据数据仓库 flink 分布式

于 2023-10-10 10:53:58 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/133742092

版权

数据湖Hudi 专栏收录该内容

12 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Hudi数据湖平台中的表类型，包括Copy On Write和Merge On Read，以及对应的查询类型，如快照查询、增量查询等。Hudi通过不同的表类型和查询配置，实现了分析工作负载的高效读写，支持近实时的数据处理。

摘要由CSDN通过智能技术生成

Hudi表类型定义了如何在DFS上对数据进行索引和布局，以及如何在此类组织之上实现上述原语和时间线活动（即如何写入数据）。反过来，查询类型定义了底层数据如何向查询公开（即如何读取数据）。

表类型	支持的查询类型
Copy On Write	快照查询

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shangjg3

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

流式数据湖平台Hudi核心概念四：文件布局

shangjg3的博客

11-09

169

表被划分为多个分区，这些分区是包含该分区的数据文件的文件夹，非常类似于。以时间轴的形式维护了在数据集上执行的所有操作的元数据；，这些日志文件包含自生成基本文件以来对基本文件的插入。目录对应着表的元数据信息，包括表的版本管理（）在每个分区中，文件被组织成文件组，由文件。操作：合并日志和基本文件以产生新的文件片。文件）是自己编码的，通过积攒数据。旧的文件片以回收文件系统上的空间。）每个文件组包含几个文件片（将一个表映射为如下文件结构。）、归档目录（存放过时的。）的行为、时间戳和状态，的实现中实现高效率的。

流式数据湖平台Hudi核心概念三：索引

shangjg3的博客

10-11

260

当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当已经存在的记录与存储中的记录相比被打乱到新分区时，设置此配置时，将删除旧分区中的旧记录，并将其作为新记录插入新分区。，但也分布在从旧到新的数据集中的许多分区和数据文件中。

参与评论您还未登录，请先登录后发表或查看评论

流式数据湖平台Hudi核心概念一：时间线

shangjg3的博客

10-10

175

顾名思义，为了在有效数据文件上提供元数据，并确保随着时间线的增长，对时间线的读取不会产生不必要的延迟，活动时间线需要以可以提供的元数据（时间线瞬间）为界。它提供了一套API和工具，可以帮助用户在数据湖中进行写入、更新、删除和查询等操作，并提供了高效的数据索引和存储机制，以加速数据的访问和处理。还提供了用于数据管理的元数据存储和查询功能，可以跟踪数据的版本、变更历史和元数据信息。一个关键的观察结果是，提交时间表示数据的到达时间是上午10:20，而实际的数据组织反映了数据的实际时间或事件时间。

数据湖之Hudi基础：核心原理

maoyuanming0806的博客

01-17

1044

数据湖核心概念，copy on write，merge on read，Hudi的核心是维护表上在不同的即时时间（instants）执行的所有操作的时间轴（timeline）Hudi通过索引机制提供高效的upserts简称MOR表。包含列存的基本文件（.parquet）和行存的增量日志文件（基于行的avro格式，.log.*）。

数据湖——Hudi基本概念

友培的博客

10-24

3949

hudi

数据湖架构Hudi（三）Hudi核心概念

qq_44665283的博客

03-01

2650

数据湖架构Hudi（三）Hudi核心概念

【Hudi】数据湖Hudi核心概念与架构设计总结

热门推荐

菜鸟叔叔的博客

04-06

1万+

使用 Flink Hudi 构建流式数据湖平台

Ververica的博客

02-15

1266

▼ 关注「ApacheFlink」，看更多大咖▼摘要：本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 ...

【Hudi】Hudi 核心知识点详解（二）

书山有路，学海无涯。记录成长，追逐梦想

12-10

1447

Hudi 提供了 Hudi 表的概念，这些表支持 CRUD 操作，可以利用现有的大数据集群比如 HDFS 做数据文件存储，然后使用 SparkSQL 或 Hive 等分析引擎进行数据分析查询。

spark sql详解

jkzyx123的博客

09-07

1084

Spark SQL 是一个功能强大的模块，旨在简化大规模数据处理，支持 SQL 查询和程序化的 DataFrame/Dataset 操作。它利用 Catalyst 优化器和 Tungsten 执行引擎来实现高效的查询性能，并且能够与广泛的数据源和大数据工具进行集成，适用于批处理、实时处理、数据仓库分析等多种应用场景。

【运维监控】Prometheus+grafana监控zookeeper运行情况

alanchanchn的专栏

09-11

903

通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化

大数据之Flink（二）

wslzoooo的博客

09-07

1141

JobManager是一个Flink集群任务管理和调度的核心，是控制应用执行的主进程，每个应用都有一JobManager。前面两种模式，代码都在客户端上执行，由客户端提交给JobManager，导致客户端需要占用大量网络带宽，加重客户端所在节点的资源消耗。flink执行过程中，每个算子包含一个或多个子任务，这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot，就会将管理的内存均分成三份，每个slot独占一份，slot不会去争抢资源。slot的数量是最大并行度。

Elasticsearch7.x 集群迁移文档

happy_king_zi的博客

09-11

953

同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。

从AI到大数据，数字技术服务平台全栈赋能企业升级

最新发布

smjt2024的博客

09-11

453

海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。

[Go]通用的 MapReduce 工具函数

fishjam的专栏

09-08

868

在 Go 语言中实现基于泛型的 map-reduce 和纤程池

大数据-127 - Flink State 04篇状态原理和原理剖析：状态存储 Part2

永远好奇，无限进步！

09-10

1932

在Flink的实际实现中，对于同一种StateBackend，不同的State在运行时会有细分的StateBackend托管，例如：MemoryStateBackend，就有DefaultOperatorStateBackend管理OperatorState，HeapKeyedStateBackend管理KeyedState。JOB_ID是应用的唯一ID，CHECK_POINT_ID 是每次 CheckPoint时自增的数字ID，我们可以从备份的CheckPoint数据恢复当时的作业状态。

【Spark源码分析】ApplicationMaster基本启动流程

coding and writing

09-07

1143

Spark中ApplicationMaster的基本启动流程，以Spark On Yarn的角度与分析

828华为云征文 | 使用华为云X实例部署图数据库Virtuoso并存储6500万条大数据的完整过程与性能测评

cooldream2009的博客

09-10

1566

在大数据时代，图数据库以其强大的关系处理能力在复杂网络、社交媒体分析、知识图谱等领域得到了广泛应用。而在云计算的蓬勃发展下，使用云服务器进行图数据库的部署与管理变得更加方便高效。本篇文章将详细介绍如何在华为云X实例上部署开源图数据库Virtuoso，并将6500万条大数据存储于其中，最后对数据库的性能进行全面测评，为后续大规模数据管理提供有益参考。

Spark操作Hudi表：数据查询与结构探索

Spark，作为Apache Hadoop生态系统中的一个核心组件，提供了一种高效的方式来处理和查询Hudi表。以下是使用Spark操作Hudi表的关键步骤和知识点： 1. **初始化环境**：首先，确保你的开发环境已设置好Spark客户端...