前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun
前言
Hudi除了支持Spark、Fink写Hudi外,还支持Java客户端。本文总结Hudi Java Client如何使用,主要为代码示例,可以实现读取Hive表写Hudi表。当然也支持读取其他数据源,比如mysql,实现读取mysql的历史数据和增量数据写Hudi。
版本
Hudi 0.12.0
功能支持
支持insert/upsert/delete,暂不支持bulkInsert
目前仅支持COW表
支持完整的写Hudi操作,包括rollback、clean、archive等
代码
完整代码已上传GitHub:https://github.com/dongkelun/hudi-demo/tree/master/java-client
其中HoodieJavaWriteClientExample
是从Hudi源码里拷贝的,包含了insert/upsert/delte/的代码示例,JavaClientHive2Hudi
是我自己的写的代码示例总结,实现了kerberos认证、读取Hive表Schema作为写hudi的Schema、读取Hive表数据写hud