Hudi
啦啦乐乐
这个作者很懒,什么都没留下…
展开
-
Hudi Flink Sql
Maven<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>原创 2021-04-23 15:29:50 · 1406 阅读 · 2 评论 -
Hudi COW 两个用户同时写一张表会出现的问题
hudi 写文件时在timeline元数据目录 {basePath}/.hoodie 下的状态有三种任何时间都可以处于以下状态之一REQUESTED - 表示已调度但尚未启动的操作。INFLIGHT - 表示当前正在执行该操作。COMPLETED - 表示在时间轴上完成了该操作。写文件的时候会有以下步骤先写入 t1.commit.requested 表示该commit已经调度,但是尚未启动后写入 t1.inflight 表示该commit已经启动正在运行,该文件记录ru原创 2021-02-01 16:01:10 · 1137 阅读 · 2 评论 -
Hudi Java Client 测试
Hudi 0.7.0Hudi Jave Client 测试<dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-java-client</artifactId> <version>0.7.0</version></dependency>将hudi 0.7 版本编译好的 hudi-example-0.7.0原创 2021-02-01 15:53:30 · 3525 阅读 · 5 评论 -
Hudi 问题集合 持续更新..
文章目录1. Hudi 同步 Hive 的两种方式1. Hudi 同步 Hive 的两种方式1. JDBC option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")2. Metastore option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") option(DataSourceWriteO原创 2020-11-09 18:14:34 · 377 阅读 · 0 评论 -
Hudi Hive Sync 实操
文章目录Maven配置数据准备测试数据建表测试数据入库Sync Copy_on_WriteHudi新增同步Hive查看写入hive的表结构查看写入hive的数据查看hdfs目录结构Hudi更新同步Hive查看更新后的数据读取Hudi增量视图增量视图读取结果Maven配置<dependencies> <dependency> <groupId>org.apache.hudi</groupId> <artifact原创 2020-08-06 18:51:32 · 3805 阅读 · 0 评论