Apache Hudi
文章平均质量分 71
hudi学习,问题记录
Mathieu66
Apache Hudi Commiter
展开
-
Hudi回调功能简介及使用示例
Hudi回调功能简介及使用示例1. 功能简介从0.6.0版本开始,Hudi开始支持 commit 回调功能。每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息。用户可以根据该回调信息查询hudi表的增量数据,并根据具体需求进行相应的业务处理。1.1 支持的回调方式当前 HoodieDeltaStreamer 可用过 HTTP(默认) 和 Kafka 两种方式向外部发送回调信息,而 SparkDataSource 只支持 HTTP 一种。两种数据摄入方式在使用回调原创 2020-12-25 15:47:16 · 1080 阅读 · 0 评论 -
生态 | Apache Hudi集成Apache Zeppelin(转载)
https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA转载 2020-04-29 10:56:05 · 309 阅读 · 0 评论 -
数据湖 | Apache Hudi 设计与架构最强解读
本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。1. 简介Apache Hudi(简称:Hudi)允许您在现有的hadoop兼容存储之上存储大量数据,同时提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。这两种原语分别是:Update/Delete记录:Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录,同时还提供写操作的...原创 2020-04-14 18:29:20 · 3043 阅读 · 1 评论