Spark
啦啦乐乐
这个作者很懒,什么都没留下…
展开
-
Hudi 问题集合 持续更新..
文章目录1. Hudi 同步 Hive 的两种方式1. Hudi 同步 Hive 的两种方式1. JDBC option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")2. Metastore option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") option(DataSourceWriteO原创 2020-11-09 18:14:34 · 384 阅读 · 0 评论 -
Hudi Hive Sync 实操
文章目录Maven配置数据准备测试数据建表测试数据入库Sync Copy_on_WriteHudi新增同步Hive查看写入hive的表结构查看写入hive的数据查看hdfs目录结构Hudi更新同步Hive查看更新后的数据读取Hudi增量视图增量视图读取结果Maven配置<dependencies> <dependency> <groupId>org.apache.hudi</groupId> <artifact原创 2020-08-06 18:51:32 · 3824 阅读 · 0 评论 -
Delta Lake 基本操作(Scala)
文章目录Maven配置数据源Source表Merge表操作生成Delta表Update数据Delete数据Merge数据问题版本回溯(Time Travel)查看版本号为0的数据查看版本号为3的数据并发写入测试操作相同数据操作不同数据原因详情见官方文档Maven配置<!-- https://mvnrepository.com/artifact/io.delta/delta-core --...原创 2019-11-14 11:50:48 · 1301 阅读 · 0 评论