修破立生

本文如何介绍通过Flink CDC增量读取MySQL binlog数据写入Hudi，并以增量的方式读取Hudi的数据

本文介绍了Flink CDC 读取 MySQL 数据，通过Flink SQL 写入到 Hudi 的过程，并通过实战案例演示了对 MySQL 的 Insert/Update/Delete 操作在 Hudi 的还原。

拉取源码本文以 0.10.1 的源码为例$ git clone -b release-0.10.1 https://github.com/apache/hudi.gitCloning into 'hudi'...remote: Enumerating objects: 247886, done.remote: Counting objects: 100% (29939/29939), done.remote: Compressing objects: 100% (4148/4148), done

本文介绍了Flink CDC 读取MySQL数据实时写到 Iceberg，Flink SQL 以Streaming的方式读取Iceberg的数据。

本文演示了 Flink CDC 读取 MySQL 数据，并通过 Flink SQL 写入到 Iceberg 的过程。包含了 Insert/update/delete 的操作。

本文介绍了 Hudi 的写操作类型，包括 UPSERT, INSERT, BULK_INSERT, DELETE, 并介绍了相关的应用场景

本文介绍了 Hudi Timeline（时间线）的核心概念，Instant action, Instant time, state。并举例进行说明

本文介绍了如何对 Apache Iceberg 的源码进行编译出特定版本的 iceberg-flink-runtime Jar 文件

使用元数据表的原因Apache Hudi 元数据表使得读取/写入操作可以获得更好的性能。使用元数据表的主要目的是为了避免 “list files” 的操作。没有元数据表的支持，在读取和写入数据时，通过文件的 “list” 操作来获取当前文件系统的视图。当数据数据集非常大时，列出所有的文件会成为性能的瓶颈，使用元数据表会预先维护文件系统的视图，如果所有文件的列表，可以避免递归地进行"list files"操作。开启元数据表情况下，进行TPCDS benchmark p50 “list” 操作的时延测试：

本文通过介绍三种不同的使用场景的特点，并在各自场景下选择的 Hudi 索引的类型。包括的场景有：事实表更新，事件表去重，维度表的更新。索引类型有BLOOM,SIMPLE,HBase。

本文介绍了 Hudi 的索引机制、索引类型（Bloom/Simple/HBase）、以及 Global索引和 Non-Global 索引

本文介绍了如何使用 Hive 查询 Hudi 表。包括：CopyOnWrite 表的快照查询和增量查询MergeOnRead 表的快照查询，读优化查询和增量查询

本文介绍了 Hudi 表类型以及查询类型表类型：CopyOnWrite 和 MergeOnRead查询类型：SnapshotQuery, IncrementalQuery, ReadOptimizedQuery

本文介绍 Spark 写入和查询 Hudi 表。包括写入 CopyOnWrite 和 MergeOnRead 类型的 Hudi 表。查询包括 快照查询，读优化查询，增量查询。

本文介绍了如何通过 kafkacat 把测试数据写入到 kafka

基于 Ubuntu 玩转 Hudi Docker Demo本文主要内容如下： - 环境准备，Docker，kafkacat, jp安装， /etc/hosts 文件修改等 - Hudi 编译 - 基于 Docker 搭建测试集群，包含 hdfs/hive/spark/presto 等组件

本文回顾了数据湖遇到的挑战，以及湖仓是如何解决这些挑战数据湖、数据仓库、湖仓的对比目前主流的湖仓一体方案：deltalake,hudi,iceberg

什么是数据湖为什么需要数据湖数据湖面临的挑战

湖仓方案DeltaLake、Hudi、Iceberg功能对比