yarnsession不能开启

最新推荐文章于 2024-01-16 19:29:39 发布
最新推荐文章于 2024-01-16 19:29:39 发布
阅读量481 收藏
点赞数
文章标签： flink yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42323165/article/details/115289150
版权
当尝试开启YARN会话时，如果出现加载无尽且无法启动的情况，通常是因为已有YARNsession占用资源未关闭。解决这个问题的方法是通过YARN的Web UI找到这些进程并使用`yarnapplication-kill`命令终止它们，从而释放资源并能重新开启新的YARNsession。
摘要由CSDN通过智能技术生成

yarnsession不能开启

下面讲开启不了的原因之一

在这里插入图片描述

我们有时候开启yarnsession的时候会遇到一种情况就是如图不断加载就是不结束，导致yarnsession不能开启，原因就是yarnsession开启过多没有关闭一直占用资源，导致不能再开启一个新的yarnsession

在这里插入图片描述

解决办法就是进8080找到yarnsession的进程号直接杀掉

在这里插入图片描述

命令：
yarn application -kill 进程号
把yarnsession进程都杀掉就可以重新开启了

在这里插入图片描述
在这里插入图片描述

scala￥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink:Yarn-Session 启动
u012566690的专栏
08-29 2894
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
Yarn-Session集群启动失败：Unauthorized request to start container
渐宽阁读书小弟
03-31 1025
文章目录问题报错出错点：Unauthorized request to start container解决方法： 问题报错 2020-03-31 18:29:28,992 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink Yarn session. ...
flink启动找不到yarn-session.sh命令
zggpdd的博客
08-11 596
这个错误其实很低级，主要就是我安装flink的时候，以为自己配置了环境变量，谁知其实并没有配置环境变量。 主要还是因为自己当初安装flink的几种模式时，是分开复制安装，导致自己以为配置了环境变量， 还有一个需要注意：yarn-sisson.sh是flink/bin/的命令，并不是hadoop的yarn的命令。 ...
yarn新增队列后提交任务失败后问题排查
weixin_44978754的博客
08-02 798
yarn上新增队列名为sprak队列后任务提交失败 查看capacity-scheduler.xml 发现yarn默认给default队列分配了100%的内存 可能是内存导致的 到yarnweb页面上查看 发现default队列可用容量为100% 而新增加的队列容量为0% 于是将default队列的配置复制一份给spark队列 并将队列容量均分 新增spark队列配置如下 <property> <name>yarn.scheduler.ca...
Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster
WHY的博客
01-16 983
Flink启动yarn session报错：Permission denied: user=root,access=WRITE,inode="/user":why:supergroup:drwxr-xr-x
yarn-1.22.10编译工具
最新发布
05-21
yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译...
Spark的Yarn模式
01-20
同时，在`spark-env.sh`中设置YARN配置目录，以便Spark能找到YARN的相关配置： ```bash YARN_CONF_DIR=/opt/module/Hadoop/hadoop-2.7.7/etc/hadoop ``` 运行Spark应用程序，如Spark Pi示例，可以使用如下命令： ```...
Hadoop Yarn 案例 1
07-16
Yarn TopN 案例 年-月-日 某ID（如地区ID，案例中无任何作用） 温度 相同月中最热的3天 案例：https://blog.csdn.net/lian582796149/article/details/118789626
yarn 前端打包工具指定配置文件
08-10
在前端开发领域，`Yarn` 是一个非常流行的依赖管理工具，它被广泛用于替代 `npm` 进行包的安装和管理。`Yarn` 提供了更快的速度、更可靠的重复性和...这种灵活性使得 `Yarn` 成为了现代前端开发中不可或缺的工具之一。
yarn安装.docx
09-24
yarn安装 Yarn 是一个流行的 JavaScript 包管理器，可以帮助开发者快速安装、管理和共享项目依赖项。下面是关于 Yarn 安装的详细知识点： Yarn 安装步骤 1. 使用 npm 安装 Yarn：`npm install –g yarn` 或 `npm ...
yarn-session.sh启动报错的六种解决问题集合包括完全分布式和伪分布式
weixin_52810349的博客
06-08 782
VERSION里的datanodeUuid一致导致的冲突，这里是因为从节点和主节点用一样的datanodeUuid导致node块在yarn集群里冲突了。第二种hdfs的块坏了（yarn-session.sh其实是运行多次没有运行成功，发送过去坏了没有删除）第三种内存爆了，电脑满90%以上内存了，可以调调虚拟机内存配比。在 yarn-site.xml。在yarn-site.xml。在hdfs-site.xml。调成5个，设置为5就可以了。从节点的和主节点一致才能运行。第四种备份副本块的问题。
Flink的作业提交
shufangreal的博客
03-01 922
Flink作业提交 Flink作为一个分布式的计算引擎，类似于Spark，Flink有多重部署模式：standalone、k8s、yarn、mesos Standalone模式 安装步骤： 1.下载安装包，并分发配置好的 2.配置flink-conf.yml & slave 3.启动Flink集群 4.确认Flink启动情况：http://localhost:8081/ 进程1 -Stan...
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2692
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
flink yarn-session.sh启动任务指定的应用名和队列无效问题
云想慕尘的专栏
07-01 4845
问题背景 我有一个hadoop集群和一台机器A. 我在机器A上，使用命令: bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 & 启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图： 启动后，应用名为：Flink sess
Flink 会话模式Yarn部署完成后无法提交作业
qq_44540985的博客
12-09 1290
Flink 会话模式Yarn部署完成后无法提交作业
flink源码分析-flink-yarn-session共享模式下job提交流程分析
Share With You
05-05 1728
前言 之前的文章中已对flink-yarn-session的独立模式下job的提交流程进行了分析，今天在此基础上，对flink-yarn-session的共享模式下job提交流程进行分析。 flink-yarn-seesion共享模式job提交流程分析 前面文章中已经介绍了flink-yarn-session的独立模式与共享模式出现的分支节点在org.apache.flink.client....
flink启动yarn-session命令报错的解决方案
weixin_39868387的博客
02-22 3607
flink启动yarn-session命令报错 报错信息 org.apache.flink.client.deployment.ClusterDeploymentException: Couldn’t deploy Yarn session cluster 如图所示： 自己进入hadoop的配置文件 把这个配置参数删除： !--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值...
Flink 1.14.2 on Yarn遇到的坑
kevin的博客
04-17 4036
Flink 1.14.2 on Yarn遇到的坑 1.Flink 1.14.2的安装 1.1下载安装Flink 1.14.2 环境准备: JDK 1.8 scala 2.12 Ubuntu 18 Hadoop 3.3.0 三台主机(hadoop1、hadoop2、hadoop3) Flink 集群分布 hadoop1 hadopo2 hadoop3 JobManager、TaskManager TaskManager TaskManager Flink
60-008-022-使用-命令-yarn-session命令
九师兄
03-12 1740
1.视界 2. Flink On Yarn 2.1 概述 在yarn上启动一个一直运行的flink集群 2.1 两种模式 第一种：在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 第二种(推荐)：每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消...
flink yarn session 重启恢复任务
01-25
Flink是一个用于大规模数据处理的流处理框架，而YARN是一个用于集群资源管理的开源项目。在Flink中，可以通过YARN会话模式将Flink作业提交到YARN集群上运行。当Flink作业在YARN上以会话模式运行时，可能会遇到一些问题导致作业失败或需要重启。在这种情况下，Flink YARN会话可以实现任务的重启和恢复。 想要重启和恢复任务，首先需要在Flink YARN会话模式下对作业进行设置，包括设置作业的失败策略、容错机制和检查点配置等。这样可以保证在作业失败时，能够及时重启并恢复任务的执行状态。 当任务失败时，Flink YARN会话会自动进行故障检测，并尝试重新启动失败的任务。同时，Flink还会利用之前设置的检查点信息，帮助任务恢复到之前的状态，并继续执行。这样就可以最大程度地保证作业的稳定性和连续性。 总之，Flink YARN会话能够通过设置合适的配置，实现任务的重启和恢复。这种功能可以保证作业的可靠性和稳定性，同时减少因为意外故障而导致的数据处理中断和时间成本。因此，Flink YARN会话对于大规模数据处理应用来说，是非常重要且有价值的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值