Flink SQL操作Hudi并同步Hive使用总结

置顶 已于 2022-11-18 15:27:32 修改
阅读量7.3k 收藏 74
点赞数 66
分类专栏： Flink Hudi 文章标签： flink hudi 数据湖
于 2022-11-01 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/127621878
版权
Hudi 同时被 2 个专栏收录
46 篇文章 5 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
Flink
20 篇文章 3 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
本文详细介绍了使用Flink SQL操作Hudi表的四种方式，包括内存中建表、Hive Catalog建表，并探讨了是否同步Hive的情况。在同步Hive的过程中，讨论了MOR表和COW表的同步差异，以及遇到的异常和解决办法。文章强调了Flink与Spark SQL配置一致性的重要性，并提供了异常处理的建议。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。

关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决

版本

Flink 1.14.3
Hudi 0.12.0/0.12.1

本文采用Flink yarn-session模式，不会的可以参考之前的文章。

Hudi包

下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flin

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive
阿华田的博客
03-31 1373
为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。
基于Flink Hudi的增量ETL架构
06-13
- **实时查询**：通过Hudi的即时查询接口（如Spark SQL或Hive on Hudi），可以实时查询最新数据。 - **版本控制与数据修复**：Hudi支持数据快照和版本控制，当出现错误时，可以回滚到之前的版本，实现数据修复。 **...
大数据hudi之集成Hive:Hive同步
weixin_43597208的博客
09-06 401
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；参数：https://hudi.apache.org/docs/basic_configurations#Write-Options。
基于Flink实现数据入湖打通hudi+hive+starrocks
最新发布
weixin_42380156的博客
07-11 303
hive：2.1.1。
Hudi的相关参数配置
qq_44780870的博客
05-08 1274
hoodie.table.compaction.strategy: 压缩策略，包括 org.apache.hudi.DefaultCompactionStrategy、org.apache.hudi.AvroCompactionStrategy 和 org.apache.hudi.timeline.service.FIFOCleanBasedCompactionStrategy 等。hoodie.datasource.write.partitionpath.field: 分区键的字段名。
Flink + Hudi 实现多流拼接(大宽表)
j简说Linux的博客
11-09 4280
经典场景Flink 侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：我们基于Hudi Payload的合并机制，开发出了一种全新的多流join的解决方案:该方案在存储层提供对多流数据的关联能力，旨在解决实时场景下多流 join遇到的一系列问题。在所有的表中维护了一个包含在不同的即时(Instant)时间对数据集操作(比如新增、修改或删除)的时间轴(Timeline)。在每一次对hudi表的数据集操作时都会在该表的Ti
数据湖之基于flink+hudi+hive的实践（一）
u013337425的博客
09-27 3903
文章目录1、介绍2、环境准备与部署3、遇到过的坑 1、介绍 hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义： 1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操作的事务保证。 2）Change Streams：可以从某个时间点获取给定表中已updated/inserted/deleted的所有记录的增量流。
Flink如何创建同Hive兼容的表
None
03-15 684
曾使用Flink API创建Hive表，然后查询时碰到过这个问题：hive>select * from test_db.test_flink_hive_table; FAILED: SemanticException Line 0:-1 Invalid column reference 'TOK_ALLCOLREF'但是如果使用Flink SQL去查询却是正常的。切换其他引擎，比如使用Tr...
Hudi（14）：Hudi集成Flink之核心参数设置
yang_shibiao的博客
01-30 1611
目录0. 相关文章链接1. 去重参数2. 并发参数2.1. 参数说明2.2. 案例演示3. 压缩参数3.1. 参数说明3.2. 案例演示4. 文件大小4.1. 参数说明4.2. 案例演示5. Hadoop 参数Flink可配参数官网地址：All Configurations | Apache Hudi Hudi文章汇总 通过如下语法设置主键： 名称说明默认值备注hoodie.datasource.write.recordkey.field主键字段--支持主键语法 PRIMARY
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录
06-25
本篇将详细介绍如何在Windows 10操作系统中，使用集成开发环境IDEFA（IntelliJ IDEA with Databricks Distribution for Apache Spark）配置Hudi-0.9.0，并结合Spark3.0和Flink-1.12.x进行基本操作。 首先，确保你...
关于Hudi on Flink在顺丰的实践应用的分析说明.zip
11-05
Flink SQL可以直接对Hudi表进行实时查询，为业务提供实时报表和决策支持。此外，由于Hudi支持Apache Spark、Hive等多样的查询引擎，顺丰可以灵活地选择合适的工具进行离线分析，提升数据洞察力。 为了保证系统的...
spark_hudi_template:与Spark Hudi交往
04-14
在“Hive Hudi Local Spark 3.1演示”中，我们将使用Hive作为元数据管理和查询接口，与本地运行的Spark 3.1相结合，实现对Hudi数据集的操作。这涉及到创建Hudi表，将数据加载到Hudi中，以及执行Spark SQL查询来验证...
KLOOK客路旅行基于Apache Hudi的数据湖实践.doc
07-13
KLOOK客路旅行的数据仓库架构是指使用Hudi作为ODS层，将数据从RDS数据库同步至Hudi表中，然后使用Flink SQL Batch作业将数据批量写入Hudi表中，最后使用Hive/Trino提供OLAP数据查询。 10. 实践要点 KLOOK客路旅行...
【Hudi】设置复合主键
JH_Zhai的博客
02-18 383
【代码】【Hudi】设置复合主键。
Flink1.12.2集成hudi0.9.0+同步hive实践
dudu146863的博客
09-07 4861
目录 一、组件下载 二、Batch模式实施步骤： 2.1 启动flink-sql客户端 2.2 创建表 2.3插入数据 2.4 根据主键更新数据 三、stream模式实现步骤： 3.1 创建表 3.2从批模式写入一条数据 3.3隔几秒后在流模式可以读取到一条新增的数据 四.Hive 同步 4.1 hudi编译： 4.2. Hive 环境准备 1.启动hive元数据 2.在 Hive 服务器导入 Hudi 包 4.3. Hive 配置模版 3.1源表的建表语句: 3.1..
flink-sql读写hive-1.13
第一片心意的博客
08-02 6886
本文按照 flink 1.13 官网中的读写 hive 内容翻译整理，内容十分全面。
【深度好文】Flink1.14.3 Table读取Hive数据仓库
大数据研习社
04-25 1584
摘要： 案例使用最新稳定版本Flink1.14.3。 Flink Table和SQL从Flink1.12版本已经成熟，可以在生产上放心使用。 Flink Table和SQL从Flink1.12实现了流批统一的所有特性。 Flink Table和SQL与Hive集成需要特别注意版本的兼容性。 1 需求 需求：Flink Table API从Hive数据仓库读取表数据。 2 添加Maven依赖 FlinkTable集成Hive需引⼊如下依赖： <dependency> ..
Hudi（三）集成Flink（1）
Yuan_CSDF的博客
05-22 1086
将编译好的jar包放到Flink的lib目录下。
【FLINK】flink 读取Kafka数据写入Hive表中
Zsigner的博客
05-09 5656
背景：对实时的历史数据持久化保存到Hdfs中，可以使用Hive Sql 追溯历史数据给业务参考多维度指标 版本信息：Flink 1.11.2，Scala 2.11，Kafka 2.12，Hive 2.3.7 1、引入pom.xml内容 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...
flink cdc 实时同步 oracle hudi
09-15
2. 使用Flink SQL创建Hudi表并进行元数据自动同步到Hive。你可以按照以下示例创建表： ```sql CREATE TABLE source_table ( uuid varchar(20), name varchar(10), age int, ts timestamp(3), `partition` ...
评论 129
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值