【Flink】Flink 1.9 升级 到 flink 1.12.4 报错 flink.client.cli.AbstractCustomCommandLine ＜init＞

最新推荐文章于 2023-06-05 16:56:56 发布
最新推荐文章于 2023-06-05 16:56:56 发布
阅读量254 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 升级 Abstract Custom CommandLine
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/117562314
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
在将Flink从1.9升级到1.12.4的过程中，遇到报错问题。升级后打包在Yarn上运行时，出现AbstractCustomCommandLine初始化错误及shaded netty4 AbstractChannel AnnotatedConnectException。通过检查代码发现缺少依赖，并手动引入，但问题未完全解决。进一步排查后，发现还需要添加相关配置，解决了部分问题，但仍存在shaded netty4的连接异常问题。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.场景1

1.1 概述

我有一个项目是flink 1.9 升级到 flink 1.10 ,升级完毕后，本地能正常运行，然后打包到服务器，yarn运行的时候报错如下
在这里插入图片描述
然后我看看相关代码，发现点击进去后，源码中没有引入
在这里插入图片描述
然后我手动引入
在这里插入图片描述

同时报错

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink启动yarn-session报错：Error while running the Flink session. java.lang.NoSuchMethodError
zhengzaifeidelushang的博客
05-19 1852
2021-05-19 13:18:35,976 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Buil
Flink内核源码解析系列（四）：加载解析命令的命令行客户端
打工日常
06-05 147
final List<CustomCommandLine> customCommandLines = loadCustomCommandLines(configuration, configurationDirectory); 讲解之前，首先讲一下，什么叫做CommandLine？Flink中将用户输入的命令封装成了CommandLine。比如《Flink内核源码解析系列（一）：如何找到程序入口？》 中写的： ./bin/flink run -t yarn-pe
Flink1.13.2 Command-line
Flake
10-13 497
目录“list” action options：“list” action options："stop" action options:"savepoint" action options:"run" action options:Options for Generic CLI mode:（Application模式）Options for yarn-cluster mode:Options for default mode:（standlone） “list” action options： Ac
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2801
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
通过zeppelin调用脚本，提交Flink任务
qq_31866793的博客
10-12 845
一，环境准备，我们在一个节点上部署zeppelin跟Flink。 zeppelin配置（啥也没改）： 二，在节点创建脚本 vim dwd-task2.sh #bash echo "开始dwd任务..." ${FLINK_HOME}/bin/flink run -d -c com.sjb.dev.dwd.DwdEtl_flatMap ./flink-neiwang-dev-1.0-SNAPSHOT-shade.jar echo "任务开始执行......$0,$1,$3" 参考传参：ht.
【Flink】Flink 1.9 升级 到 flink 1.12.4 报错 shaded netty4 AbstractChannel AnnotatedConnectException
九师兄
06-04 1024
1.场景1 1.1 概述 我有一个项目是flink 1.9 升级到 flink 1.10 ,升级完毕后，本地能正常运行，然后打包到服务器，yarn运行的时候报错如下 提交flink 任务报错 Exception: Connection refused: localhost/127.0.0.1:8081 at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) at java.u.
【FLink】Flink 1.9 升级到 1.12.4 无配置页面 无日志
九师兄
07-10 791
【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程升级后没有日志。任务运行正常。有的客户端环境比较复杂，难以定位日志位置和配置时，可以通过以下环境变量配置打开 log4j 的 DEBUG 日志，跟踪 log4j 的初始化和详细加载流程：export JVM_ARGS=“-Dlog4j.debug=true”但是没有日志可以看到manager.out是没有日志的。然后查看一下taskmanager.err如下查看java信息正常........
【Flink】Flink 1.9 升级 1.12.4 本地可以运行 打包后 集群运行就找不到类 ClassNotFoundException
九师兄
07-07 1083
1.场景1 1.1 概述 升级过程请参考： 【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程 然后本地运行好好的，但是而且，是在主类中类。 打开jar包也是存在这个类的 但是启动报错找不到类 启动脚本如上 实际上的包结构如下 最后将主类放到lib下才解决，仅仅这个还不行。还会报错各种类找不到。 参考：https://blog.csdn.net/weixin_53803675/article/details/115934556 1.打包上传后，加载类
CDH6.3.2编译Flink-1.12.4
04-12
标题“CDH6.3.2编译Flink-1.12.4”涉及到的主要知识点是关于在Cloudera Data Hub (CDH) 6.3.2环境下编译和集成Apache Flink 1.12.4的流程。CDH是一个流行的Hadoop发行版，它提供了一套完整的大数据处理工具，包括...
Zeppelin社区给力支持下，解决Zeppelin上的Flink生产环境运行问题
joomlaer的专栏
09-30 1130
背景： Zeppelin一个强大的可视化数据分析工具。它是基于Web的笔记本，可通过SQL，Scala等实现数据驱动的交互式数据分析和协作文档。功能及其强大，可以快速接入Spark,Python,R等数据分析语言工具。数据源可以接入MySQL,Kylin,Hive等几十种数据源。 在现在实时处理神器Flink如火如荼的当下，将Zeppelin接入Flink，实现实时，批数据处理，报表生成，对数据开发分析人员，无疑是一个有力的助力。 现在Flink接入阿里开源生态后，版本迭代的非常迅速，功能也提升的比较
【Flink源码系列】Flink 源码分析之 Client 端启动流程分析
JasonLee实时计算
05-20 2236
抛出问题首先来思考一个问题，我们在提交 Flink 任务的时候，在 Flink 客户端执行了下面的命令后，Flink 客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。flinkrun-d-myarn-cluster\ -Dyarn.application.name=FlinkStreamingNewDemoHome\ -Dya...
Flink集群启动报错 org.apache.flink.client.deployment.ClusterDeploymentException
weixin_44393345的博客
06-03 8398
org.apache.flink.client.deployment.ClusterDeploymentException Couldn’t deploy Yarn 出现此类错误，主要的原因是Current usage: 75.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memor y used. Killing container. 字面原因是容器内存不够，实际上是flink on yarn启动时检查虚拟内存造成的 所以修改配置文
升到Flink版本到1.15.0
u012636124的博客
05-28 4585
Flink升级1.15.0
[官方Flink入门笔记 ] 五、客户端操作
张伯毅的专栏
02-16 2365
一 .环境说明 在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行，今天的课程主要是讲 Flink 的客户端操作。 本次讲解以实际操作为主。这次课程是基于社区的 Flink 1.12.1 版本，操作系统是 Mac 系统，浏览器是 Google Chrome 浏览器。 二 .概要 Flink 提供了丰富的客户端操作来提交任务和与任务进行交互，包括 Flink 命令行，Scala Shell，SQL Client，Restful API 和 Web。Flink 首先提供的最重要的是命令行
Flink从1.7到1.14版本升级汇总
liuwei0376的专栏
05-10 4764
本文分为上下两部分 Flink从1.7到1.14版本升级汇总（下） 一 .前言 官方发布了Flink1.14版本，但是遗憾的是，中文官网中的案例和资料还都是基于很古老的版本。所以大家照着官网资料跑不通基本代码也是很正常的。 所以整理一下从1.7 版本到1.14版本之间的相对大的变动. 做到在学习的过程中可以做到心里有数。 二 .Flink 1.7 版本 在 Flink 1.7.0，我们更关注实现快速数据处理以及以无缝方式为 Flink 社区构建数据密集型应用程序。我们最新版本包括一些令人兴奋的新
Flink Yarn配置
Nougats的博客
06-11 2153
需要配置YARN_CONF_DIR 或 HADOOP_CONF_DIR环境变量启动一个YARN session(Start a long-running Flink cluster on YARN) 然后便可以向集群提交作业。同一个Session中可以提交多个Flink作业./bin/yarn-session.sh -n 2 -tm 1024 -s 2上面命令启动了2个TaskManager，每个
Flink On Yarn 异常排除过程以及根据字节码名字获取jar文件名字
吟啸徐行
11-22 7332
最初学习Flink，写了一个简单的wordcount运行一下，发现报错，异常信息如下： The program finished with the following exception: java.lang.RuntimeException: Error deploying the YARN cluster at org.apache.flink.yarn.cli.FlinkYarnSe
flink任务报错java.util.NoSuchElementException: No value present in Option
最新发布
09-16
这个错误通常表示在使用 `Option` ...Option<String> option = ...; // 你的 Option 对象 String value = option.getOrElse("default value"); ``` 这样，如果 `option` 中没有值，就会返回默认值 "default value"。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值