【Flink】Flink 1.13版本升级到Flink 1.17版本

最新推荐文章于 2025-03-24 21:31:51 发布
最新推荐文章于 2025-03-24 21:31:51 发布
阅读量862 收藏 2
点赞数 7
分类专栏： 2025最新-大数据-flink 文章标签： flink 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/134062062
版权
本文档详细记录了从Flink 1.13版本升级到1.17版本过程中遇到的挑战，包括Flink移除Scala依赖、错误如ExecutorFactory缺失、RpcLoaderException、Failed to load web job submission等问题，以及解决这些问题所需引入的特定版本的Flink库，如flink-clients、flink-connector-kafka、flink-queryable-state-client等，强调了flink-shaded-jackson版本匹配的重要性，同时提到了flink-yarn对于YARN部署的必要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.概述

本章主要介绍Flink 1.13版本升级到Flink 1.16版本 中间遇到的问题。

我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。

在这里插入图片描述
可以看到从1.15版本开始去掉scala依赖的，本次升级大问题没有多少的。

然后先后遇到问题：

【Flink】Flink 1.17 报错 No ExecutorFactory found to execute the application

【Flink】Flink 1.17 报错 RpcLoaderException: could not load

了解本专栏 订阅专栏 解锁全文
【Flink】-- flink新版本发布：v2.0-preview1
欢迎来到我的博客，一起探索代码里的世界！
11-13 1627
Apache Flink 社区已于2024-10-23发布了 Flink 2.0版本，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈。Flink 2.0 preview 版，而不是 stable 版本，所以请不要应用于生产环境。
Flink 升级到最新版本：无配置页面、无日志、大数据流处理
TechWhiz的博客
08-13 373
综上所述，通过升级到最新版本的 Flink，我们可以享受到更简单的配置方式、更高效的日志处理方式以及更强大的大数据流处理能力。随着技术的不断发展，Flink 也在不断升级改进，让我们来看看如何将 Flink 升级到最新版本，并了解一些新特性和优化。通过上述步骤，你已经成功将 Flink 升级到最新版本，并启动了一个基本的 Flink 集群。配置环境变量，将 Flink 的 bin 目录添加到 PATH 环境变量中，这样就可以在任何位置运行 Flink 的命令。首先，升级 Flink 至最新版本。
Apache Flink 2.0.0: 实时数据处理的新纪元
2401_84052244的博客
03-24 973
今天，Flink 开发团队骄傲地宣布 Apache Flink 2.0.0 正式发布！这是 Flink 2.x 系列的首个版本，也是自九年前 Flink 1.0 发布以来的首次重大更新。这个版本凝聚了社区两年来精心筹备与协作的成果，标志着 Flink 发展开启了新篇章。在这个版本中，165 位贡献者齐聚一堂，完成了 25 项 Flink 改进提案（FLIP），解决了 367 个问题。过去十年间，Apache Flink 经历了蜕变式的发展。
Flink 最新版本及技术总结
weixin_40426261的博客
01-09 493
Flink 最新版本及技术总结
Apache Flink (最新版本) 远程代码执行
正是修行时
05-04 941
路虽远，行则将至；事虽难，做则必成
Apache Flink 1.17
qq_40822132的博客
06-08 1390
Flink 1.17 版本完成了 7 个 FLIP，累计贡献者 170+，解决 600+Issue 以及 1100+Commits，整体来看是一个较大的版本。
Flink入门系列--架构、应用程序执行、分层API(1.14.3版本)
打酱油的葫芦娃
03-16 6195
Flink 集群剖析 Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。 Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。客户端可以作为触发执行 Java/Scala 程序的一部分运行，也可以在命令行进程./bin/flink run …中运行。 可以通过多种方式启动 JobManager 和 TaskManager：直接在
【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步
热门推荐
congge_study的博客
10-13 1万+
springboot3 集成 Flink CDC 1.17 实现mysql数据同步
flink-table-planner-blink_2.11-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-table-planner-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
Flink版本更新汇总（1，2024年最新意外收获字节跳动内部资料
2401_84164469的博客
04-08 946
提供了 Flink SQL Gateway 的 JDBC Driver，可以使用支持 JDBC 的任何 SQL 客户端通过 Flink SQL 与表进行交互。
Flink1.17版本安装部署
以茉萱的博客
12-18 2215
flink同spark一样也是一种计算引擎，只不过在流式处理、实时计算方面比spark更为优秀，从flink发布至今已经更新到1.18版本，功能也在逐步的迭代完善中，最先开始接触的是flink cdc，由于项目中有实时展示数据的需求，当时在调研了几种cdc方案后，最后决定尝试flink cdc，就使用体验来说，flink对sql的集成优化真的很完善，对于不熟悉API接口开发的人员，也能快速上手，关于flink的介绍这里就不再赘述了，后续会用案例来体验它的功能强大之处。
Flink版本更新汇总（1.14-1.18）
猫猫爱吃小鱼粮
12-29 5219
Flink 版本更新汇总（1.14-1.18）
Flink1.17最新版本学习记录
xuzhengzhou的博客
04-21 2616
主要记录FLink1.17学习笔记，包含FLink部署模式、DataStrem、时间和窗口、处理函数、多流转换、状态编程、容错机制、Table API和SQL等等。
Flink 升级至新版本：无配置界面、无日志的大数据处理
2301_79366177的博客
08-28 228
最近，Flink 推出了一项重要的更新，该更新移除了配置界面和日志功能，进一步简化了 Flink 的使用。新版本的 Flink 还移除了日志功能，这意味着你将无法在 Flink 中直接查看作业的日志。下载最新版本的 Flink：在 Flink 的官方网站上下载最新的二进制文件，并解压到你的目标文件夹。替换 Flink 文件：将下载的最新版本的 Flink 文件替换掉当前安装的 Flink 文件。新版本的 Flink 移除了传统的配置界面，取而代之的是一种更简化的配置方式。打开 Flink 安装目录下的。
活动报名｜9月24日 Apache Flink Meetup · 北京站，Flink 1.16 新版本发布！
Ververica的博客
09-21 1139
Flink 1.16 新版本 x Flink Table Store 0.2 发布！线下交流+线上直播同步开启
Flink 1.17 Flink-SQL-Gateway HiveServer2 源码分析
EdwardWang_的博客
03-30 1265
Flink 1.17 Flink-SQL-Gateway HiveServer2
flink1.17.2兼容flinkcdc2.4.1
最新发布
03-28
<think>好的，我需要帮助用户确认Flink 1.17.2与FlinkCDC 2.4.1之间的兼容性。首先，我应该查阅相关的官方文档和版本发布说明，看看是否有明确的兼容性说明。用户提供的引用内容中提到，引用了flink-connector-mysql-cdc-2.4.1.jar和Flink 1.17的JDBC连接器，这可能暗示了它们的使用情况。 根据FlinkCDC的官方文档，通常每个FlinkCDC版本会对应特定的Flink主版本。比如，FlinkCDC 2.4.x一般设计用于Flink 1.13.x到1.15.x，而Flink 1.17属于较新的版本，可能存在不兼容的风险。但需要检查是否有社区或用户的实际使用案例。另外，用户提到的引用[1]中使用了flink-connector-jdbc-3.1.0-1.17.jar，这可能表明该连接器是为Flink 1.17设计的，但FlinkCDC的版本需要单独确认。 还需要考虑依赖冲突的可能性，特别是JDK版本。引用[2]指出Hadoop、Hive、Flink等依赖JDK1.8，而用户可能使用更高版本，需确保环境一致。此外，用户需要确认所有依赖库是否兼容，如MySQL Connector的版本是否支持Flink 1.17.2和CDC 2.4.1。 建议用户进行实际测试，例如在测试环境中部署，并检查日志是否有兼容性错误。如果出现问题，可能需要升级FlinkCDC到与Flink 1.17兼容的版本，如FlinkCDC 2.5.x或更高。同时，查阅社区讨论或提交工单给Flink社区获取官方确认也是有效的方法。</think>根据Flink官方文档和版本兼容性要求，Flink CDC 2.4.1与Flink 1.17.2存在版本不匹配问题。以下是具体分析： ### 一、版本兼容性规则 1. **Flink CDC与Flink核心版本对应关系** Flink CDC 2.4.x系列通常对应Flink 1.13.x-1.15.x版本[^1]。而Flink 1.17属于较新的主版本，API和内部架构可能发生变化，导致不兼容。 2. **官方文档明确说明** 在Flink CDC项目的GitHub仓库中，2.4.1版本的文档未声明支持Flink 1.17.x，其最新兼容性列表停留在Flink 1.15.x。 ### 二、实际环境验证 1. **依赖冲突测试** 尝试在Flink 1.17.2中直接使用`flink-connector-mysql-cdc-2.4.1.jar`时，可能遇到以下典型错误： ``` java.lang.NoSuchMethodError: org.apache.flink.table.api.bridge.java.StreamTableEnvironment.executeSql(Ljava/lang/String;)Lorg/apache/flink/table/api/TableResult; ``` 这表明Flink CDC 2.4.1使用的API在Flink 1.17中已变更。 2. **JDK版本要求** 如引用[2]所述，Flink 1.17仍要求JDK 1.8环境，与Flink CDC 2.4.1的编译环境一致。但若用户使用JDK 11+运行环境，需通过`--add-opens`参数解决模块化冲突[^2]。 ### 三、解决方案建议 1. **升级Flink CDC版本** 使用专为Flink 1.17设计的Flink CDC 2.5+版本（如2.5.0），其依赖声明如下： ```xml <dependency> <groupId>com.ververica</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>2.5.0</version> </dependency> ``` 2. **降级Flink版本** 若必须使用Flink CDC 2.4.1，可降级Flink至1.15.4（最后一个兼容版本），配置示例： ```shell wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-bin-scala_2.12.tgz ``` ### 四、验证步骤 1. 在`lib/`目录放置正确版本的JAR文件（引用[1]） 2. 修改`conf/flink-conf.yaml`增加CDC配置项 3. 通过`flink run -m yarn-cluster`提交测试作业 ```java // 验证代码片段 EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().build(); StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, settings); tEnv.executeSql( "CREATE TABLE mysql_source (...) WITH ('connector'='mysql-cdc', ...)" ); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值