问题：Spark SQL 读不到 Flink 写入 Hudi 表的新数据，打开新 Session 才可见

已于 2024-06-20 13:24:35 修改
阅读量1.2k 收藏 18
点赞数 11
分类专栏： 大数据专题 Hudi • 数据湖新核心 付费专栏 文章标签： spark sql flink hudi 读不到 新数据 session
于 2024-02-21 10:51:03 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/136203991
版权
付费专栏 同时被 3 个专栏收录
94 篇文章 25 订阅 ¥99.90 ¥299.90
订阅专栏
大数据专题
184 篇文章 299 订阅
订阅专栏
Hudi • 数据湖新核心
16 篇文章 17 订阅
订阅专栏
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

问题描述


使用 Flink 向 Hudi 表中写入数据，使用 Spark SQL 的 Shell 查询 Hudi 表（使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据&#

了解本专栏 订阅专栏 解锁全文
Laurence　
关注
专栏目录
订阅专栏
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-20 2202
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
hudi0.11.0、flink1.14.4、spark3.2.1编译
05-27
基于hudi0.11.0、flink1.14.4、spark3.2.1编译。有需要的自行下载
Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 578
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
Flink 去重 Debezium-json 格式数据
weixin_39750695的博客
07-07 959
Flink 去重 Debezium-json 格式数据，使用 Flink State 状态去重 Debezium-json 合适数据
0468-如何使用DBeaver访问Kerberos环境下的Hive
Hadoop_SC的博客
12-01 3817
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。 1.文章编写目的 在前面Fayson的文章《0467-Hadoop客户端工具之Dbeaver安装及使用》介绍了DBeaver的安装以及访问非Kerberos环境下的Hive。本篇文章Fays...
Flink SQL 1.12 深度实践 一 Kafka source (json+debezium json+复杂json)
weixin_38424594的博客
02-15 6937
# kafka source (simple json+debeizum json+复杂json) 近期主要是我花时间一步步采坑实践出来的各种细节,发现官网很多文字和配置都误差. 所以本人本着真实可靠的实践操作来给予大家的文案.希望可以帮到你 . 做实践之前,必须准备 flink 环境 略 java 环境 略 sql-client 开启 略 docker 环境. 以备各个组件的快速运行. 一. kaf...
Jmeter压力测试Mysql数据库
justlpf的专栏
10-27 1077
至于这里引用Variable names时，为什么在变量名后面加了一个“_1”，是因为查询到的结果是一个列表，所以不管它查询的是一条还是多条数据，都要通过下标去取它的值，写法就是：变量名_下标。sql语句返回2行2列，id和named的Variable names设置为A、C，那么要取name为Mike的值，就设置为C_1，取name等于Jame的值，就设置为C_2。要连接mysql数据库，首先得下载mysql jdbc驱动包，尽量保证其版本和你的数据库版本一致，至少不低于数据库版本，否则可能有问题。
基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程（2021新课）
05-10
2. Hudi详解：Hudi的架构、存储模型、写入策略、查询优化、与Spark集成等。 3. 实战项目：使用Flink处理实时数据流，Hudi存储和更新数据，以及通过Spark进行数据分析。 4. 数据湖设计原则：数据湖的分层架构、数据...
Flink +hudi+presto 流程图.docx
04-29
当Flink与Hudi结合时，Flink可以作为实时数据源，将处理后的数据写入到Hudi表中，实现数据的实时更新。Flink的事件时间处理和状态管理能够确保数据的准确性和一致性，而Hudi则负责提供可靠的存储和更新机制，确保...
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
本话题将详细讲解如何利用Flink的SQL Server Change Data Capture (CDC) 连接器版本2.3.0，将SQL Server中的数据实时同步到MySQL数据库。 首先，让我们了解什么是CDC。CDC是一种数据库技术，它能够捕获数据库中的...
Flink消费kafka的debezium-json数据(包含增删改消息)，将数据同步到starrocks
雾岛与鲸的博客
03-08 2057
只能更换方案使用高版本debezium + kafka connect的方式来同步对应的数据到kafka中，后面使用flink sql消费对应的kafka消息，来达到实时同步的目的。
怎么用JMeter操作MySQL数据库？看完秒懂！
weixin_44867191的博客
07-11 2102
jmeter操作数据库
【大数据安全-Kerberos】Kerberos常见问题及解决方案
weixin_53543905的博客
04-04 9826
javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)] 可以用来帮助诊断 Kerberos 相关问题的原因并实施解决方案的指南。
MariaDB+SpringBoot 报错 Caused by: java.sql.SQLException: GSS-API authentication exception
菜鸟江涛的博客
08-11 780
最近在搭建springboot + mybatis + mariadb 项目的时候遇到了如题的问题，搜索了一圈没找到合适的解决方法，因此记录下我的解决方案，希望对后来者有帮助。
Java升级JDK17（更高版本同理）,修改maven
weixin_45686265的博客
08-24 7495
Java升级JDK17（更高版本同理）,修改maven
【Flink写出到kafka报错ClassNotFoundException】
best_sniper的博客
07-04 3805
flink写出到Kafka、jar包冲突排查
常见的 Kerberos 错误消息
zy531的专栏
01-31 1万+
http://docs.oracle.com/cd/E19253-01/819-7061/trouble-6/index.html 列出了 Kerberos 命令、Kerberos 守护进程、PAM 框架、GSS 接口、NFS 服务和 Kerberos 库的常见错误消息 All authentication systems disabled; connection refused
JDK对应的Maven版本
热门推荐
qq_41177135的博客
06-18 1万+
JDK对应的Maven版本
Windows下安装JDK17以及Maven
最新发布
tearsh的博客
06-29 2736
找到Path变量点击编辑，点击新建在方框里输入“.”，然后在点击新建热输入“%JAVA_HOME%\bin”最后点击确定。在系统环境变量的位置新建MAVEN_HOME环境变量，变量值即maven的安装位置，取到bin文件夹的父一级即可。打开命令窗口“Win+R”输入“cmd”，在，命令窗口中输入“java -version”，点击回车进行查看。打开命令窗口“Win+R”输入“cmd”，在，命令窗口中输入“mvn -version”，点击回车进行查看。%MAVEN_HOME%\bin”最后点击确定。
flink写入hudi多表
07-20
在 Flink 中使用 Hudi 同时写入多个表，可以按照以下步骤进行： 1. 引入依赖：在 Flink 项目中的 pom.xml 文件中，添加 Hudi 相关的依赖，例如 hudi-flink、hudi-client 等。 2. 创建 Flink 流式作业：使用 Flink 的 DataStream API 创建流式作业，处理输入数据并准备写入 Hudi 表。 3. 配置 Hudi 写入：为每个需要写入的 Hudi 表创建一个 HudiTableConfig 对象，配置相应的表名、Schema、主键等信息。 4. 转换数据并写入 Hudi 表：根据需要写入的多个表，使用 Flink 的 DataStream API 进行数据转换操作，并将数据写入对应的 Hudi 表中。可以使用 `hudiWrite()` 函数将转换后的数据写入 Hudi 表。 ```java dataStream .map(new MyMapper()) // 自定义数据转换逻辑 .addSink(HoodieFlinkSink.create(hudiTableConfig1, ...)) // 将数据写入第一个 Hudi 表 .name("Hudi Sink 1"); dataStream .map(new MyMapper()) // 自定义数据转换逻辑 .addSink(HoodieFlinkSink.create(hudiTableConfig2, ...)) // 将数据写入第二个 Hudi 表 .name("Hudi Sink 2"); // 可以根据需要继续添加更多的 Hudi 表写入操作 ``` 5. 配置并执行 Flink 作业：为 Flink 作业配置必要的参数，例如并行度、检查点等，并执行作业。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // 设置并行度 env.enableCheckpointing(5000); // 开启检查点 // 创建流式作业，处理数据并写入 Hudi 表 env.execute("Flink Hudi Multiple Tables Job"); ``` 需要注意的是，在配置 Hudi 表时，要确保每个表都有唯一的表名和主键，且 Schema 结构与输入数据一致。另外，为了保证数据一致性和容错能力，在 Flink 作业中开启检查点功能是一个好的实践。 以上是一个简单的示例，具体的实现还需要根据你的实际需求和数据处理逻辑进行调整。同时，还需要根据 Hudi 和 Flink 的版本进行适配和配置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值