Spring boot集成Flink CDC时,运行时jetty报错

最新推荐文章于 2024-07-24 22:36:37 发布
最新推荐文章于 2024-07-24 22:36:37 发布
阅读量502 收藏
点赞数 1
文章标签： spring boot flink jetty
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITRandy/article/details/132402828
版权

一、报错展示

项目可以成功运行，并且成功监听数据库pigxx_user.user表打，但点击页面随便一个查询时报错：
报错展示：
 

2023-08-21 09:44:43.082  INFO 22880 --- [td. Out (1/1)#0] c.v.c.d.internal.DebeziumChangeFetcher   : Database snapshot phase can't perform checkpoint, acquired Checkpoint lock.
SourceRecord{sourcePartition={server=mysql_binlog_source}, sourceOffset={ts_sec=1692582283, file=mysql-bin.000004, pos=2058, snapshot=true}} ConnectRecord{topic='mysql_binlog_source.pigxx_user.user', kafkaPartition=null, key=Struct{id=1}, keySchema=Schema{mysql_binlog_source.pigxx_user.user.Key:STRUCT}, value=Struct{after=Struct{id=1,username=1,password=1,del_flag=0},source=Struct{version=1.5.2.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1692582283000,snapshot=true,db=pigxx_user,table=user,server_id=0,file=mysql-bin.000004,pos=2058,row=0},op=r,ts_ms=1692582283003}, valueSchema=Schema{mysql_binlog_source.pigxx_user.user.Envelope:STRUCT}, timestamp=null, headers=ConnectHeaders(headers=)}
SourceRecord{sourcePartition={server=mysql_binlog_source}, sourceOffset={ts_sec=1692582283, file=mysql-bin.000004, pos=2058, snapshot=true}} ConnectRecord{topic='mysql_binlog_source.pigxx_user.user', kafkaPartition=null, key=Struct{id=2}, keySchema=Schema{mysql_binlog_source.pigxx_user.user.Key:STRUCT}, value=Struct{after=Struct{id=2,username=8,password=8,del_flag=0},source=Struct{version=1.5.2.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1692582283006,snapshot=true,db=pigxx_user,table=user,server_id=0,file=mysql-bin.000004,pos=2058,row=0},op=r,ts_ms=1692582283006}, valueSchema=Schema{mysql_binlog_source.pigxx_user.user.Envelope:STRUCT}, timestamp=null, headers=ConnectHeaders(headers=)}
SourceRecord{sourcePartition={server=mysql_binlog_source}, sourceOffset={ts_sec=1692582283, file=mysql-bin.000004, pos=2058, snapshot=true}} ConnectRecord{topic='mysql_binlog_source.pigxx_user.user', kafkaPartition=null, key=Struct{id=1681914600579715074}, keySchema=Schema{mysql_binlog_source.pigxx_user.user.Key:STRUCT}, value=Struct{after=Struct{id=1681914600579715074,username=【测试】张三,password=2222333,del_flag=0},source=Struct{version=1.5.2.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1692582283007,snapshot=true,db=pigxx_user,table=user,server_id=0,file=mysql-bin.000004,pos=2058,row=0},op=r,ts_ms=1692582283007}, valueSchema=Schema{mysql_binlog_source.pigxx_user.user.Envelope:STRUCT}, timestamp=null, headers=ConnectHeaders(headers=)}
SourceRecord{sourcePartition={server=mysql_binlog_source}, sourceOffset={ts_sec=1692582283, file=mysql-bin.000004, pos=2058}} ConnectRecord{topic='mysql_binlog_source.pigxx_user.user', kafkaPartition=null, key=Struct{id=1691718995043532801}, keySchema=Schema{mysql_binlog_source.pigxx_user.user.Key:STRUCT}, value=Struct{after=Struct{id=1691718995043532801,username=aa,password=22333,del_flag=0},source=Struct{version=1.5.2.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1692582283007,snapshot=last,db=pigxx_user,table=user,server_id=0,file=mysql-bin.000004,pos=2058,row=0},op=r,ts_ms=1692582283007}, valueSchema=Schema{mysql_binlog_source.pigxx_user.user.Envelope:STRUCT}, timestamp=null, headers=ConnectHeaders(headers=)}
2023-08-21 09:44:43.085  INFO 22880 --- [td. Out (1/1)#0] c.v.c.d.internal.DebeziumChangeFetcher   : Received record from streaming binlog phase, released checkpoint lock.
2023-08-21 09:44:43.156  INFO 22880 --- [rce-coordinator] i.d.c.m.MySqlStreamingChangeEventSource  : Keepalive thread is running
2023-08-21 09:44:48.081  WARN 22880 --- [tp820854836-191] org.eclipse.jetty.server.HttpChannel     : /user/page

java.lang.NoSuchMethodError: org.eclipse.jetty.http.pathmap.PathMappings.getMatched(Ljava/lang/String;)Lorg/eclipse/jetty/http/pathmap/MatchedResource;
	at org.eclipse.jetty.servlet.ServletHandler.getMatchedServlet(ServletHandler.java:577) ~[jetty-servlet-9.4.51.v20230217.jar:9.4.51.v20230217]
	at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:473) ~[jetty-servlet-9.4.51.v20230217.jar:9.4.51.v20230217]
	at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:1582) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:186) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1349) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:127) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.Server.handle(Server.java:516) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.HttpChannel.lambda$handle$1(HttpChannel.java:383) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.HttpChannel.dispatch(HttpChannel.java:556) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:375) ~[flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:273) [flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:311) [flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:105) [flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.io.ChannelEndPoint$1.run(ChannelEndPoint.java:104) [flink-connector-mysql-cdc-2.0.0.jar:2.0.0]
	at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:883) [jetty-util-9.4.51.v20230217.jar:9.4.51.v20230217]
	at org.eclipse.jetty.util.thread.QueuedThreadPool$Runner.run(QueuedThreadPool.java:1034) [jetty-util-9.4.51.v20230217.jar:9.4.51.v20230217]
	at java.lang.Thread.run(Thread.java:748) [na:1.8.0_181]

我的依赖：

		<!-- CDC -->
		<!-- Apache Flink Java API，用于编写 Flink 作业 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-java</artifactId>
			<version>1.13.0</version>
		</dependency>
		<!-- Apache Flink 流处理 Java API，用于实时数据流处理 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-streaming-java_2.12</artifactId>
			<version>1.13.0</version>
		</dependency>
		<!-- Apache Flink 客户端库，用于提交和管理 Flink 作业 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-clients_2.12</artifactId>
			<version>1.13.0</version>
		</dependency>
		<!-- Apache Hadoop 客户端库，用于访问 HDFS 和其他 Hadoop 功能 -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>3.1.3</version>
		</dependency>
		<!-- MySQL 数据库 Java 驱动程序，用于连接和操作 MySQL 数据库 -->
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>8.0.21</version>
		</dependency>
		<!-- Apache Flink 表计划器库 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-planner-blink_2.12</artifactId>
			<version>1.12.0</version>
		</dependency>
		<!-- Apache Flink MySQL CDC 连接器，用于捕获 MySQL 数据库变更 -->
		<dependency>
			<groupId>com.ververica</groupId>
			<artifactId>flink-connector-mysql-cdc</artifactId>
			<version>2.0.0</version>
		</dependency>
		<!-- 阿里巴巴 Fastjson 库，用于 JSON 数据序列化和反序列化 -->
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.75</version>
		</dependency>

Flink CDC监听：
 

@Component
public class FlinkCDC implements ApplicationRunner, Serializable {

	@Override
	public void run(ApplicationArguments args) throws Exception {
		//1.获取Flink执行环境
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		env.setParallelism(1);

		//通过FlinkCDC构建SourceFunction
		DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
				.hostname("localhost")
				.port(3306)
				.username("root")
				.password("666666")
				.databaseList("pigxx_user")	//监控的数据库
				.tableList("pigxx_user.user")	//监控的数据库下的表
				.deserializer(new StringDebeziumDeserializationSchema())//反序列化
				.startupOptions(StartupOptions.initial())
				.serverTimeZone("GMT-8")
				.build();
		DataStreamSource<String> dataStreamSource = env.addSource(sourceFunction);

		//3.数据打印
		dataStreamSource.print();

		//4.启动任务
		env.execute("FlinkCDC");
	}
}

分析：ServletHandler这个类找不到方法getMatchedServlet，编码阶段通过，说明编译阶段这个方法存在，运行时找不到这个方法。说明可能存在两个ServletHandler类。
点击查看：

 当时第一反应排除flink-connector-mysql-cdc依赖里的jetty,结果任何作用都没有，后来仔细观察pom文件，注释掉Hadoop客户端后就没有报错了。

 

 

深 陷
关注
SpringBoot整合Flink CDC，实时追踪mysql数据变动
java专栏
07-29 1197
就这样，你成功地将SpringBoot与Flink CDC结合起来，搭建了一套实时追踪MySQL数据变动的系统。每当数据魔盒中发生哪怕一丝波动，你的系统都能即刻感知，仿佛拥有预知未来的能力。继续探索，让数据的河流在你的掌控下流淌得更加自如吧！🌊🔮。
大数据技术之Flink CDC视频教程
07-08
Flink CDC是Flink社区开发的Flink-cdc-connector组件，是一个可以实现从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。通过使用Flink CDC，搭配Flink的流批一体数据计算引擎，能够实现采集...
项目实战--Spring Boot 3整合Flink实现大数据文件处理
qq_40623672的博客
07-04 1737
性能优化策略利用Spring Boot 3.+和Flink构建一个高效的大数据文件处理应用
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
最新发布
简简单单Onlinezuozuo
07-24 769
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。
实时数仓神器 - Flink-CDC(最新版本)
极客公园的博客
08-31 2584
实时数仓神器 - Flink-CDC(最新版本) 关键词：Flink-CDC、Flink-CDC入门教程、Flink CDC Connectors 、Flink-CDC 2.0.0 文章目录实时数仓神器 - Flink-CDC(最新版本)前言一、什么是 CDC？二、CDC 应用场景三、什么是 Flink CDC？四、Flink CDC 优点五、Flink CDC 入门案例总结声明参考文献附： 前言 在 Flink CDC 诞生之前，说起数据同步工具，大家可能最熟悉 Canal、MaxWell 等工具。自
FlinkCDC读取Oracle原理
qq_42488390的博客
06-28 2256
其中在这个方法里面两个主要的属性engine，debeziumChangeFetcher，这两个采用了生产者和消费者的概念来读取Oraclecdc的数据，其中engine，这个属于是生产者的角色，debeziumChangeFetcher是消费者的角色，生产者将数据读取出来放到一个Handover，这个类里面，之后由消费者角色来进行读取，生产数据，并且将数据发送给消费者（在Java线程里面就是将消费者线程唤醒）进入到Handover这个类里面，这里面由两个重要的方法，如下所示，可以看到最主要的一个类是。
springboot集成flink-cdc
热门推荐
胖虎儿的博客
08-25 1万+
springboot集成flink-cdc 实时变更捕获技术 监听数据库变化
实战Java springboot 采用Flink CDC操作SQL Server数据库获取增量变更数据
Arden的博客
04-14 5504
我的场景是从SQL Server数据库获取指定表的增量数据，查询了很多获取增量数据的方案，最终选择了Flink的 flink-connector-sqlserver-cdc ，这个需要用到SQL Server 的CDC（变更数据捕获），通过CDC来获取增量数据，处理数据前需要对数据库进行配置，如果不清楚如何配置可以看看我这篇文章：《SQL Server数据库开启CDC变更数据捕获操作指引》废话不多说，直接上干货，如有不足还请指正/*** 自定义sink 交由spring管理* 处理变更数据。
Flink-CDC 1.X 源码分享
Baron_ND的博客
01-12 1603
1.FlinkCDC介绍 1.1定义： CDC 是变更数据捕获 (Change Data Capture) 技术的缩写，它可以将源数据库 (Source) 的增量变动记录，同步到一个或多个数据目的 (Sink)。在同步过程中，还可以对数据进行一定的处理，例如分组 (GROUP BY)、多表的关联 (JOIN) 等。 简单来说就是对于数据库的变更进行一个探测，因为数据库的更改对于客户端来说是没有感知的，你需要开启线程去查询，才知道数据有没有更新。主流的CDC机制有以下两种 基于查询CDC，如果是.
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是 。 本自述文件旨在简要介绍Flink CDC连接器的核心功能。 有关详细文档，请参阅。 支持（经过测试）...
flink cdc postgresql
04-07
在实际操作中，这可能是一个示例项目、库或者服务，用于演示或简化Flink CDC与PostgreSQL集成的过程。 总的来说，Flink CDC与PostgreSQL的结合提供了一种高效、实时的数据同步机制，对于构建实时数据管道、实时数据...
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka
jiewolf的博客
02-10 8883
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka搭建过程及问题解决
SpringBoot集成Flink-CDC，实现对数据库数据的监听
qq_43479493的博客
04-02 6633
SpringBoot 集成 Flink CDC 实现对数据库表中数据变动的监听，源码中实现简易版增量迁移。
springboot引入cdc无法启动排查
h6lkj的专栏
02-27 1115
SAx feature 'http://xm.org/sax/features/external-general-entities'not supported解决javax.xml.parsers.SAXParserFactory导致无法启动
springboot整合flink cdc监听数据库数据
蔡定努
03-03 1603
【代码】springboot整合flink cdc监听数据库数据。
springboot集成flink并发布flink集群端运行
m0_54861649的博客
07-31 938
先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。使用spring-boot-maven-plugin打的jar包，提交到flink集群端执行，会报错，提示找不到类，因为springboot默认打包BOOT-INF目录，flink服务端执行会提示找不到类。背景近期项目需要，引入flink，研究了下flink，步步踩坑终于可以单独运行，也可发布到集群运行，记录下踩坑点。以下代码实现了某个时间间隔，设备不上传数据，判断为离线的逻辑。...
flink cdc加spring boot
08-25
Flink CDC是一个可以实现从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。在结合Spring Boot使用Flink CDC时，您可以使用Spring Boot提供的各种特性和功能来构建和管理Flink CDC应用程序。 首先，您可以使用Spring Boot的依赖管理和自动配置功能，简化Flink CDC应用程序的配置和启动过程。通过添加相应的starter依赖，您可以轻松引入Flink CDC和Spring Boot的核心组件，并进行必要的配置。 其次，您可以使用Spring Boot的注解驱动开发模式，将Flink CDC的配置和逻辑与业务逻辑集成在一起。通过使用注解，您可以将Flink CDC的source组件和Spring Boot的功能组件通过依赖注入的方式进行集成，实现数据的采集和处理。 此外，使用Spring Boot还可以方便地配置Flink CDC应用程序的其他组件，例如数据源、目标存储、数据转换等。您可以通过Spring Boot的配置文件来定义这些组件的属性，并利用Spring Boot的自动配置功能来实现其初始化和管理。 最后，您可以利用Spring Boot的监控和管理功能，对Flink CDC应用程序进行监控和管理。通过集成Spring Boot Actuator，您可以轻松地暴露Flink CDC应用程序的健康状态、指标和日志信息，并通过HTTP端点进行监控和管理。 总之，结合Spring Boot使用Flink CDC可以提供便捷的配置、开发、监控和管理功能，使您能够更加高效地构建和运行Flink CDC应用程序。您可以参考提供的代码地址来了解更多关于Flink CDC和Spring Boot集成的示例代码。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [大数据技术之Flink CDC视频教程](https://download.csdn.net/download/qq359605040/85964849)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Spring Boot+Flink CDC —— MySQL 同步 Elasticsearch (DataStream方式)](https://blog.csdn.net/MHXSH_1_0/article/details/130429611)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Spring Boot+Flink CDC —— MySQL 同步 Elasticsearch (Table API方式)](https://blog.csdn.net/MHXSH_1_0/article/details/130466116)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值