flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

阿华田512

已于 2023-03-31 15:45:20 修改

阅读量1.3k

点赞数

分类专栏： Flink学习必读系列 hudi 文章标签： flink hadoop hudi 数据湖

于 2023-03-31 15:42:40 首次发布

本文链接：https://blog.csdn.net/aa518189/article/details/129881180

版权

Flink学习必读系列同时被 2 个专栏收录

67 篇文章 553 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

hudi

4 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Flink SQL实时写入Hudi表，并通过Hive Sync自动同步元数据到Hive metastore。内容包括理解Hudi与Hive元数据管理的差异，详细步骤如Hudi和Flink相关jar包的分发，开启Hive服务，以及Flink SQL创建Hudi表并启用元数据同步的配置。

摘要由CSDN通过智能技术生成

简介

为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。

步骤

第一步：将hudi的jar包分发到各个节点的hive的auxlib下hudi-hadoop-mr-bundle-0.10.0.jar（自行选择对应的版本）

或者修改配置项 hive-site.xml
hive.default.aux.jars.path hive.aux.jars.path

// 示例: 
<name>hive.default.aux.jars.path</name>
<value>

file:///mypath/hudi-hadoop-mr-bundle-0.9.0xxx.jar,file:///mypath/hudi-hive-sync-bundle-0.9.0xx.jar

</value>