Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

已于 2024-01-31 14:51:56 修改
阅读量1k 收藏 8
点赞数 16
分类专栏： 大数据专题 付费专栏 CDC数据入湖方案 • 合集 文章标签： flink hudi kafka 无数据 无写入 streaming
于 2024-01-31 12:21:14 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/135934212
版权
付费专栏 同时被 3 个专栏收录
96 篇文章 29 订阅 ¥99.90 ¥299.90
订阅专栏
大数据专题
184 篇文章 300 订阅
订阅专栏
CDC数据入湖方案 • 合集
32 篇文章 3 订阅
订阅专栏
当Flink从Kafka读取Debezium MySQL CDC数据并写入Hudi时，无数据写入。问题在于Flink默认不触发Hudi的写入提交，除非达到Checkpoint。解决方案是开启Checkpoint，例如通过Flink SQL配置。同时，读取Hudi表时可能因缺失jar包报错，安装Flink Hive Connector可解决。
摘要由CSDN通过智能技术生成
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读

了解本专栏 订阅专栏 解锁全文
Laurence　
关注
专栏目录
订阅专栏
记录几个Hudi Flink使用问题及解决方法
主要分享大数据相关的知识，如Spark、Hudi
08-21 806
如题，记录几个Hudi Flink使用问题，学习和使用Hudi Flink有一段时间，虽然目前用的还不够深入，但是目前也遇到了几个问题，现在将遇到的这几个问题以及解决方式记录一下。
flink sql读取kafka数据写入数据湖Apache Hudi
JustinMars的博客
02-15 867
创建生产者 [bigdata@bigdata1 bin]$ sh kafka-console-producer.sh --broker-list bigdata1:9092,bigdata2:9092,bigdata3:9092 --topic test_topic >{"id":13,"name":"justin"} 创建kafka表 CREATE TABLE user_behavior ( id BIGINT, name STRING ) WITH ( 'connecto.
Hudi（22）：Hudi集成Flink之常见问题汇总
yang_shibiao的博客
02-09 1652
Hudi集成Flink之常见问题汇总： 问题一：存储一直看不到数据 问题二：数据有重复 问题三：Merge On Read 写只有 log 文件
flinksql kafka写数据进hudi，数据写不进hudi
weixin_42455813的博客
10-26 203
insert into 是可以将数据写入hudi。这个问题困扰了我一天了。今早无意中发现开启checkpoint后数据成功写入hudi。flinksql kafka写数据进hudi，数据写不进hudi。以上情况数据并不能写进hudi。但是用insert into可以。) COMMENT '订单表') COMMENT '订单表'
流批一体--将Kafka流式数据摄取至Hudi
.
11-16 4011
Hudi支持以下存储数据的视图 读优化视图 : 在此视图上的查询将查看给定提交或压缩操作中数据集的最新快照。该视图仅将最新parquet文件暴露给查询，所以它有可能看不到最新的数据，并保证与非Hudi列式数据集相比，具有相同的列式查询性能 增量视图 : 对该视图的查询只能看到从某个提交/压缩后写入数据集的新数据。该视图有效地提供了更改流，来支持增量数据管道。 实时视图 : 在此视图上的查询将查看某个增量提交操作中数据集的最新快照。该视图通过动态合并最新的基本文件和增量文件来提供近实时数据集。 一、将.
Flink CDC + Hudi 海量数据入湖在顺丰的实践
阿里云开发者
06-10 960
简介：覃立辉在 5.21 Flink CDC Meetup 的分享。本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括：顺丰数据集成背景Flink CDC 实践问题与优化未来规划点击查看直播回放 & 演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果
基于Flink+Hudi构建企业亿级云上实时数据湖教程（PC、移动、小
02-24
随着互联网的发展，数据的不断膨胀，从刚开始的关系型数据库到非关系型数据库，再到大数据技术，技术的不断演进最终是随着数据膨胀而不断改变，最初的数据仓库能解决我们的问题，但是随着时代发展，企业已经不满足于数据仓库，希望有更强大的技术来支撑数据的存储，包括结构化，非结构化的数据等，希望能够积累企业的数据，从中挖掘出更大的价值。基于这个背景，数据湖的技术应运而生。本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。Hudi的出现解决了现有hadoop体系的几个问题：1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。 本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.9.0、HudiClickHouseHadoop2.7.5 Hbase2.2.6Kafka2.1.0 Hive2.2.0HDFS、MapReduceSpark、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASEVue.js、Nodejs、HighchartsLinux Shell编程课程亮点： 1.与企业接轨、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink4.Flink join 实战 5.Hudi数据湖技术6.集成指标明细查询 7.主流微服务后端系统 8.数据库实时同步解决方案 9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 10.集成SpringCloud实现统一整合方案 11.互联网大数据企业热门技术栈 12.支持海量数据的实时分析 13.支持全端实时数据分析 14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。  
flink kakfa 数据读写到hudi
wudonglianga的专栏
02-13 2203
flink kafka hudi 组件 版本 hudi 10.0 flink 13.5 1.2.flink lib 需要的jar 包 hudi-flink-bundle_2.12-0.10.0.jar flink-sql-connector-kafka_2.12-1.13.5.jar flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 下面是所有的jar 包 -rw-r--r-- 1 root root 7802399 1月 1 08:27 dor
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
最新发布
Laurence的技术博客
02-20 910
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
Flink SQL 任务消费Kafka写hudi的性能调优总结
weixin_42450619的博客
12-06 1408
以上修改后，我们还把checkpoint的间隔时长从10分钟调整为5分钟了，因为现在每分钟从Kafka中消费的数据更多了，如果继续是10分钟的checkpoint间隔时长，则每次做checkpoint时需要写入到HDFS的数据量也会更大，做checkpoint花费的时间也会更久，任务背压的时间也就更长，任务反而不稳定。为了进一步验证我们的想法，我们创建了一个测试任务，消费我们的Kafka，消费的数据直接写入到blackhole连接器中，这样就可以测出Kafka的读取性能而不受其他算子或者网络的影响。
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-01 2128
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
Deltastreamer【从kafka写数据到Hudi操作集合（单表单主题）】————附详细代码
韩江雪de 小屋
08-09 1044
文章目录kafka数据写入Hudi操作（单表单主题）0 结果展示1 连接kafak2 拆分kafka中json格式value为Dataframe3 写入数据到Hudi4 完整代码 kafka数据写入Hudi操作（单表单主题） 0 结果展示 scala上的运行结果： 在hadoop上查到文件： 在scala中查询HDFS中的结果： 1 连接kafak 创建Structured Streaming（用到了配置文件中config/kafka-source.properties信息）: import org.
hudi和flink结合使用方案
u011624157的专栏
08-11 2570
Apache Hudi(简称Hudi)是Uber创建的一个数据湖框架。2019年1月，Hudi加入Apache孵化器进行孵化，并于2020年5月晋升为Apache顶级项目。它是最流行的数据湖框架之一。 1. hudi与spark解耦 自诞生以来，Hudi一直使用Spark作为其数据处理引擎。如果用户想要使用Hudi作为他们的数据湖框架，他们必须将Spark引入到他们的平台技术栈中。几年前，使用Spark作为大数据处理引擎可以说是非常普遍甚至是自然的。因为Spark既可以执行批处理，也可以使用微批处理来模拟流
flink sql 实现 将kafka 数据写入 Hudi
dudu146863的博客
09-15 3141
一. 启动kafka生产者造数据 二. 使用Flink connector kafka 映射kafka topic 三. 使用 hudi connector 创建hudi表 四. 将kafka表的数据写入到hudi表中 五. 查询hudi表数据 六. 在kafka的producer的发送数据,然后在客户端进行hudi表数据查询,发现数据都过来了. 七. 在FlinkSQL客户端直接进行表关联 7.1 启动kafka生活者,生产数据 7.2 在Flink SQL客户端创建对应的映射表 7.3
Flink+Hudi 构架湖仓一体化解决方案
Ververica的博客
10-14 1904
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本文详细介绍了 Flink + Hudi 湖仓一体化方案的原型构建。主要内容为：Hudi新架构与湖仓一体最佳实践Flink on...
Kafka数据写入Hudi
qq_42599616的博客
01-15 1759
Kafka To Hudi1.配置pom.xml文件2.main方法入口 1.配置pom.xml文件 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.5</version> </dependency> <dependency>
Flink实战之Kafka To Hive
weixin_41608066的博客
11-24 1944
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。 Hive Catalog 由于写hive表必须基于hive catalog，所以需要注册hive catalog。同时可以在一个job内切换catalog，如果我们不想把kafka的source table注册
Linux出现Read-only file system错误的解决方法
热门推荐
Laurence的技术博客
02-26 5万+
造成这个问题的原因大多数是因为非正常关机后导致文件系统受损引起的，在系统重启之后，受损分区就会被Linux自动挂载为只读。解决的方法是通过fsck来修复文件系统，然后重启即可，以下是以针对/dev/xvde1分区，ext4文件系统分区的一个操作案例：fsck.ext4 -y /dev/xvde1本文只着重强调一点：要针对出问题的分区进行操作，在挂载了多个硬盘的机器上要仔细分辨一下。
HBase高性能复杂条件查询引擎
Laurence的技术博客
06-17 4万+
版权声明：本文由本人撰写并发表于2014年7月份的InfoQ，HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能，由于在前期架构时充分考虑了通用性以及对复杂条件的支持，在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。HBase在大数据领域的应用越来越广泛，成为目前NoSQL数据库中表现最耀眼，呼声最高的产品之一，但就应对复杂条件的查询来说，一般认为它并不是非常适合，熟悉HBase的开发人员对此应该有一定的体会，但是基于普遍的需求，开发者们希
flink读取kafka数据写入pg
03-16
Flink可以通过Kafka连接器读取Kafka中的数据，并将数据写入PostgreSQL数据库中。具体步骤如下： 1. 首先需要在Flink中添加Kafka连接器的依赖。 2. 在Flink中创建一个Kafka数据源，指定Kafka的主题和相关配置。 3. 创建一个Flink的数据转换流，对数据进行处理。 4. 将处理后的数据写入PostgreSQL数据库中。 需要注意的是，需要在Flink中配置PostgreSQL数据库的连接信息，包括数据库地址、用户名、密码等。 具体实现可以参考Flink官方文档和相关教程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值