Flink中Session会话模式运行失败的一种情况

最新推荐文章于 2023-08-16 01:25:34 发布
最新推荐文章于 2023-08-16 01:25:34 发布
阅读量963 收藏
点赞数
文章标签： hadoop 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48233915/article/details/126999226
版权

报错内容：

The program finished with the following exception:

org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster
        at org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:425)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:606)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$4(FlinkYarnSessionCli.java:860)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)
        at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:860)
Caused by: org.apache

最低0.47元/天 解锁文章
starchhh
关注
Flink启动yarn-session报错：Error while running the Flink session. java.lang.NoSuchMethodError
zhengzaifeidelushang的博客
05-19 1907
2021-05-19 13:18:35,976 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Buil
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 515
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
Flink 1.5版本集群自动重启报错原因
ygyblue2的博客
12-05 2390
公司在dev环境一直沿用早期的Flink 1.5版本，原因是Blink分支是基于flink1.5开发的，此版本集群用于发布基于Blink分支的流语言平台MVP版本，今天下午接到业务反馈数据不是实时的，调查发现是因为集群挂掉了 于是尝试重启Flink-1.5.1 standalone集群，立刻出现GC及log报错日志 2019-12-05 11:46:30,141 INFO org.a...
Flink集群部署OnYarn模式
长臂人猿的博客
03-22 1566
文章目录解压安装包修改配置用户环境变量修改flink-conf.yaml修改masters修改works修改zoo.cfg小虫子：访问不了web页面分发集群on yarn的运行方式单纯的yarn启动yarn session模式2021.3.8更新期待引入hadoopClasspathJAVA中shell工具类调用exe模式找不到环境变量 解压安装包 tar -zxvf flink-1.12.1-bin-scala_2.11.tgz 修改配置 用户环境变量 vim ~/.bash_profile expor
flink on yarn shell的session cluster模式实验记录
微电子学与固体电子学-俞驰
06-10 905
步骤: ①$FLINK_HOME/bin/yarn-session.sh ②$FLINK_HOME/bin/start-scala-shell.sh yarn DataStream例子: val textStreaming = senv.fromElements("To be, or not to be,--that is the question:--") val countsStreaming = textStreaming.flatMap { _.toLowerCase.split(".
rancher下管理flink
weixin_45316851的博客
12-02 2402
rancher管理flink
Flink部署模式介绍(session,per-job,application)
陈小哥cw
06-13 4479
在一些应用场景中， 对于集群资源分配和占用的方式，可能会有特定的需求。 Flink 为各 种场景提供了不同的部署模式， 主要有以下三种：它们的区别主要在于：集群的生命周期以及资源的分配方式； 以及应用的 main 方法到底 在哪里执行——客户端（Client）还是 JobManager。接下来我们就做一个展开说明。会话模式其实最符合常规思维。我们需要先启动一个集群， 保持一个会话， 在这个会话中通过客户端提交作业，如图所示。集群启动时所有资源就都已经确定， 所以所有提交的作业会竞争集群中的资源。 这样的好
Flink-----Standalone会话模式作业提交流程
weixin_42492886的博客
08-16 837
注意：物理执行图(PhysicalGraph)，它执行一个执行效果，它并不是一个具体的数据结构，前面的三中图在源码中都是能找到的，唯独这个物理图不是，最重要的图是执行图(ExecutionGraph)，是作业图(JobGraph)的并行化版本，是调度层最核心的数据结构，它知识对并行子任务进行了拆分，明确了任务间数据的传输方式。逻辑流图(StreamGraph) -> 作业图(JobGraph) ->执行图(ExecutionGraph) -> 物理图(Physical Graph)
flink三种部署模式
u011624157的专栏
08-11 5832
部署模式 flink可以通过以下三种模式部署： Session Mode Per-Job Mode Application Mode 以上方式主要区别在于 集群生命周期和资源隔离保证 应用程序的main方法是在客户端还是在集群上执行。 Session Mode(会话模式) 会话模式假定存在已经在运行的集群，并使用该集群的资源来执行任何提交的应用程序。在同一（会话）集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是，您不必为每个提交的作业都创建集群。但是，如果其中一项作业行为不当或关闭了ta
Flink on Yarn 启动方式
laomei
05-26 911
flink yarn 核心入口方法 flink yarn集群模式运行的job，通过flink cli提交任务，对应的类为org.apache.flink.yarn.cli.FlinkYarnSessionCli。在FlinkYarnSessionCli对象内会创建org.apache.flink.yarn.YarnClusterDescriptor对象，此对象封装了创建flink yarn session逻辑。 org.apache.flink.yarn.YarnClusterDescriptor#depl
Flink：集群异常问题记录
小白的专栏
01-27 370
记录下一些相关问题，持续记录中 1、stop-cluster.sh 未杀死进程解决方式 如果出现启动异常， 首先查看日志有无错误 如果没有错误查看flink进程 ps aux | grep flink 进入flink目录 ./stop-cluster.sh 关闭集群 稍等一会再次查看 ps aux | grep flink 如果进程不存在 进入flink目录 ./start-cluster.sh 启动集群 如果进程存在 kill进程后在启动集群 ...
【HBZ分享】Rancher通过yaml部署Flink-UI 与 Flink应用部署
a645293829的博客
05-04 2080
Flink部署UI界面 及 相关配置 建议：Flink应用尽量单独部署到一台服务器，因为很占用内存 注意：8081端口记得放行，Flink-UI需要用到8081端口访问 第一步：部署flink-jobmanager-deployment.yaml 注意：部署顺序一定要： flink-jobmanager-deployment.yaml flink-jobmanager-service.yaml taskmanager-deployment.yaml 其中flink-jobmanager-service.y
flink进阶篇-03-Flink部署
q287573145的博客
04-12 597
1、Standalone 模式 1.1 安装 软件准备： （自行官网下载） flink-1.10.1-bin-scala_2.12.tgz 三台linux机器 linux ip hostname centos7 192.168.1.100 hadoop1 centos7 192.168.1.101 hadoop2 centos7 192.168.1.102 hadoop3 分别解压缩 flink-1.10.1-bin-scala_
Flink-生产环境问题集锦
weixin_45943866的博客
03-21 5066
项目场景： 平台初始搭建，在项目开发过程中遇到的问题. 问题描述及解决方案 1.在程序中将状态后端保存到HDFS，运行程序时报错失败 Caused by: java.lang.RuntimeException: Error while waiting for job to be initialized … Caused by: org.apache.flink.runtime.rest.util.RestClientException: [org.apache.flink.runtime.rest.No
java.io.FileNotFoundException: File does not exist: hdfs://xxx
weixin_44500374的博客
01-27 8304
一、产生问题背景 我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application appl
Flink on Yarn 问题排查(rest.port与rest.bind-port 端口问题)
永青技术博客
04-04 6110
一、问题背景 最近在做行车数据实时分析，为了后续批流一体化的开发，前期先做技术铺垫。目前使用Flink作为批流一体切入方案。以下是基于yarn模式提交 flinksql job时出现端口冲突的问题 二、问题复述 1、我目前使用的是flink-1.12.0版本。配置文件如下 flink-conf.yaml master和worker配置 vi master bj-pan.com-04:11057 vi worker bj-pan.com-02 bj-pan.com-03...
Flink任务报：Could not allocate the required slot within slot request timeout.
你的代码有灵魂吗？
07-14 1万+
问题描述 问题描述：Flink job提交到集群上跑，提交成功了，但是每次都是等很久之后就失败了，一直报：Could not allocate the required slot within slot request timeout. Please make sure that the cluster has enough resources. 此外，跑了Spark任务和Flink官方的批处理的WordCount例子都是可以跑成功的； 具体错误 [root@BigData04 f..
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
热门推荐
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
flink的sv会话访问
最新发布
08-17
Flink（流处理框架）的Session Fault Tolerance（SFT，会话故障恢复）机制是一种用于保证流处理作业在发生故障时能够自动恢复到上一次正常状态的能力。当系统中某个任务失败时，Flink会将任务的状态存储在一个持久化...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值