flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

已于 2023-03-31 15:45:20 修改
阅读量1.4k 收藏 3
点赞数
分类专栏： Flink学习必读系列 hudi 文章标签： flink hadoop hudi 数据湖
于 2023-03-31 15:42:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/129881180
版权
本文介绍了如何使用Flink SQL实时写入Hudi表，并通过Hive Sync自动同步元数据到Hive metastore。内容包括理解Hudi与Hive元数据管理的差异，详细步骤如Hudi和Flink相关jar包的分发，开启Hive服务，以及Flink SQL创建Hudi表并启用元数据同步的配置。
摘要由CSDN通过智能技术生成

简介

           为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。

步骤

第一步：将hudi的jar包分发到各个节点的hive的auxlib下hudi-hadoop-mr-bundle-0.10.0.jar（自行选择对应的版本）

或者 修改配置项 hive-site.xml
hive.default.aux.jars.path  hive.aux.jars.path

// 示例: 
<name>hive.default.aux.jars.path</name>
<value>

file:///mypath/hudi-hadoop-mr-bundle-0.9.0xxx.jar,file:///mypath/hudi-hive-sync-bundle-0.9.0xx.jar

</value>
了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
主要分享大数据相关的知识，如Spark、Hudi
11-03 4036
上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过Hudi HMS Catalog读写Hudi并同步Hive表，这里的Hudi HMS Catalog实际上就是通过上篇文章最后提到的。
Flink CDC 如何简化实时数据入湖入仓-Flink Forward Asia 2021.pdf
04-29
在Flink CDC之前，实时数据入湖入仓存在多个痛点，例如数据同步延迟、架构复杂、影响业务稳定性和性能瓶颈等问题。Flink CDC通过其核心特性如增量快照读取、入湖友好设计、异构数据源融合、分库分表合并等，成功解决...
【Flink实战系列】Flink SQL 实时同步数据到 Hive
JasonLee实时计算
06-01 1965
通过 HiveCatalog, Apache Flink 可以对 Apache Hive Tables 进行统一的 BATCH 和 STREAM 处理。这意味着Flink 可以作为一个比 Hive 的批处理引擎性能更好的选择，或者可以连续地在 Hive 表中读写数据，从而支持实时数据仓库应用程序。这篇文章就来介绍一下使用 Flink SQL 实时同步数据到 Hive 的流程。
Hudi（25）：Hudi集成Hive之外表
yang_shibiao的博客
02-20 1350
除了要设置 hive.input.format，还需要设置上述的3个增量查询参数，且增量查询语句中的必须添加 where 关键字并将 `_hoodie_commit_time > 'startCommitTime' 作为过滤条件（这地方主要是hudi的小文件合并会把新旧commit的数据合并成新数据，hive是没法直接从parquet文件知道哪些是新数据哪些是老数据）。ro 表全称 read oprimized table，对于 MOR 表同步的 xxx_ro 表，只暴露压缩后的 parquet。
Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践
张伟的专栏
06-07 1434
每个文件组包含多个切片，其中每个切片包含在某个提交 / 压缩即时时间生成的基本列文件 (parquet 文件)，以及自生成基本文件以来对基本文件的插入 / 更新的一组日志文件 (*.log)。Hudi 采用 MVCC 设计,其中压缩操作会将日志和基本文件合并成新的文件片，清理操作会将未使用/较旧的文件片删除来回收 DFS 上的空间。说明：目前还没写入测试数据，Hudi 目录只生成一些状态标记文件，还未生成分区目录以及 .log 和 .parquet 数据文件，具体含义可见 Hudi 官方文档。
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 9081
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录
06-25
配置好Hudi连接器后，Flink作业可以将数据实时地写入Hudi表，同时也可以读取Hudi表进行实时分析。 8. **Hudi的数据同步与一致性**： Hudi支持与Hive的同步，可以利用HoodieHiveSync工具定期将Hudi表的元数据同步到...
基于Flink Hudi的增量ETL架构
06-13
- **增量写入Hudi**：使用Flink的Hudi connector将处理后的数据以插入或更新的形式写入Hudi表。Hudi维护一个时间线，记录每次写入的变化。 - **实时查询**：通过Hudi的即时查询接口（如Spark SQL或Hive on Hudi），...
hudi-0.12.1.src.tgz
最新发布
04-10
1. **实时数据分析**：对于需要实时处理和分析的业务，如广告推荐、金融风控等，Hudi可以提供快速的数据更新和查询，满足业务需求。 2. **数据湖建设**：Hudi可以作为数据湖的底层存储，提供数据的版本控制和时间...
hudi-release-0.9.0.tar.gz
10-13
6. **与Spark和Hive的紧密集成**：Hudi可以无缝集成Apache Spark进行实时计算，并且与Apache Hive兼容，可以直接在Hive表上使用Hudi的功能，简化了数据湖的开发流程。 7. **数据生命周期管理**：Hudi提供了一套完整...
Hudi系列9:Flink SQL操作hudi表
只是甲的博客
01-31 1303
Flink SQL操作Hudi表 Flink Hudi集成
flink13.1 将模拟的实时数据写入的hdfs,并且使用hive可以查询数据
daqu1314的博客
06-07 644
第二步:写代码 增加pom.xml文件,代码中也有kafka的数据源配置,也可以参考,IP地址是我的虚拟机地址,没连接外网无法登陆;解决问题: 解决直接向hive直接写入数据,再不需要配置hive配置文件;若今天是20230608那么dt的时间也是20230608,当然在实际的生产中,可以写个定时任务,定时添加;2.合理设置checkpoint时间,时间越短产生的小文件越多.1.第一步创建hive表并且添加分区,就当前时间为例,1.生产中一定增加checkpoint 存储的目录.
flinksql 实时查询hudi 的数据
wudonglianga的专栏
02-07 3428
1.版本 组件 版本 hudi 10.0 flink 13.5 2. 场景： 在flink 中新建一张表(t1)插入数据, 然后同时用过另外一张表进行查询(t2) 场景如图 3. t1 建表 CREATE TABLE t1( uuid VARCHAR(20), name VARCHAR(10), age INT, ts TIMESTAMP(3), `partition` VARCHAR(20) ) PARTITIONED BY (`part
Flink-读Kafka写Hive表
ZacksTang的博客
08-29 1136
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/connectors/table/hive/overview/ 当前Flink ...
Flink SQL操作Hudi并同步Hive使用总结
主要分享大数据相关的知识，如Spark、Hudi
11-01 7406
记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决Flink 1.14.3 Hudi 0.12.0/0.12.1本文采用Flink yarn-session模式，不会的可以参考之前的文章。下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.14-bundle/0.12.1/hudi-fli
Flink sql批处理进行同Hive操作
lbg20211023的博客
04-29 677
Flink sql批处理进行同Hive操作
Flink将数据写入到hdfs中
wudonglianga的专栏
12-27 8488
1. 场景 随机产生数据然后将产生的数据写入到hdfs 中。 2. 随机数据源 代码： package com.wudl.flink.hdfs.source; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple4; import org.apache.flink.streaming.api.functions.source.SourceFunction; import jav
flink cdc 整合 数据湖hudi 同步 hive
wudonglianga的专栏
02-18 5657
1. 版本说明 组件 版本 hudi 10.0 flink 13.5 hive 3.1.0 2. 实现效果 通过flink cdc 整合 hudi 到hive flink cdc 讲解 flink cdc 1.2实例 flink cdc 2.0 实例
Hudi（23）：Hudi集成Hive之同步
yang_shibiao的博客
02-10 1787
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值