Apache Hudi
文章平均质量分 94
狄杰丶
单创数据平台负责人
展开
-
Apache Hudi 从入门到放弃(3) —— Flink Sql写过程分析(上)
背景介绍上一期给大家讲述了Hudi中,MOR表的目录文件结构;本打算这一期讲一下COW表的目录文件,不过考虑到目前在实时读写入Hudi的场景下,用的最多的还是MOR表,所以暂时跳过COW表的文件分析,转而对hudi-flink模块进行深入理解;本次分析也仅涉及hudi-flink中的内容另外,目前COW表已经支持Flink Streaming Read,有兴趣的可以试试看,我也会在之后的分享中从简单使用&原理分析来讲一讲COW表欢迎大家指出我文章的不足,让我更进一步源码分析开始之前Hud原创 2021-05-09 16:48:15 · 3958 阅读 · 13 评论 -
Apache Hudi 从入门到放弃(2) —— MOR表的文件结构分析
Apache Hudi 从入门到放弃(1) —— MOR表的文件结构分析写在开始本篇带大家分析一下Hudi中MOR表的文件结构刚开始看Hudi一周,有什么不对的地方欢迎大家指出事前准备建表-- 先准备一张Hudi MOR表CREATE TABLE hudi_test_dijie( id bigint, dt string, ts TIMESTAMP(3), PRIMARY KEY(id) NOT ENFORCED)PARTITIONED BY (`dt`)WITH ('co原创 2021-05-02 23:01:39 · 5824 阅读 · 20 评论 -
Apache Hudi 从入门到放弃(1) —— Hudi的初步尝试
写在开始本篇内容主要是分享一下如何通过Flink Sql 流式的读写Hudi表,也会说说我对Hudi的理解IDE选择的是Zeppelin,环境配置可以参考一下我这篇博客环境准备代码编译这里我们使用的是Master分支的Hudi进行编译git clone https://github.com/apache/hudi.git# 我使用的是scala版本为2.11的Flink,如果是2.12的scala,请在下面语句的最后加上 -Pscala-2.12 -Dscala-2.12mvn cl原创 2021-04-28 20:36:24 · 4342 阅读 · 6 评论