Apache Hudi
hudi学习,问题记录
Mathieu66
Apache Hudi Commiter
展开
-
Hudi回调功能简介及使用示例
Hudi回调功能简介及使用示例 1. 功能简介 从0.6.0版本开始,Hudi开始支持 commit 回调功能。每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息。用户可以根据该回调信息查询hudi表的增量数据,并根据具体需求进行相应的业务处理。 1.1 支持的回调方式 当前 HoodieDeltaStreamer 可用过 HTTP(默认) 和 Kafka 两种方式向外部发送回调信息,而 SparkDataSource 只支持 HTTP 一种。两种数据摄入方式在使用回调原创 2020-12-25 15:47:16 · 876 阅读 · 0 评论 -
生态 | Apache Hudi集成Apache Zeppelin(转载)
https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA转载 2020-04-29 10:56:05 · 275 阅读 · 0 评论 -
数据湖 | Apache Hudi 设计与架构最强解读
本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。 1. 简介 Apache Hudi(简称:Hudi)允许您在现有的hadoop兼容存储之上存储大量数据,同时提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。 这两种原语分别是: Update/Delete记录:Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录,同时还提供写操作的...原创 2020-04-14 18:29:20 · 2976 阅读 · 1 评论