【Flink】Flink 运行到yarn 队列资源不足，导致无法运行

已于 2024-03-23 09:07:22 修改
阅读量391 收藏 1
点赞数 5
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2024-03-23 07:45:00 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/132721411
版权
大数据-flink 专栏收录该内容
854 篇文章 864 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在使用Flink 1.12.4时遇到的数据处理停止问题，由于无法访问Flink Web界面，通过监控和日志发现任务看似运行但实际未消费数据。原因是提交任务的Yarn队列资源已满，其他进程占用导致任务无法提交。解决方法是清理队列中不属于当前任务的进程，从而释放资源，恢复正常运行。文章强调了资源队列管理和监控的重要性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

文章目录

1.概述

首先申明一点： 我们用的版本是flink 1.12.4,然后环境是无法访问flink web界面的。

是这样的，有个现场，突然发现数据无法处理了，数据不入库了。然后查看流计算任务运行正常。因为我们无法访问flink web界面，因此我们这里是调用flink web界面获取的信息。
在这里插入图片描述
这里显示任务正在运行。然后看看flink监控，发现监控室空白的，流计算正常，数据有lag， 日志里面没有报错，但是就是不消费了 界面这里也不显示 速度 等。

在这里插入图片描述
查看我们的监控发现没有数据

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink 资源不足 导致 提交卡死 一直处于 创建中 Memory Reserved 预留的内存
九师兄
08-13 2273
1.概述 一个环境因为资源不足，运行2个任务后，第二个任务一直处于创建中。 查看有个节点是 Memory Reserved 预留的内存，但是后来好像不是这个原因。 然后我们经过研究发现是flink任务申请的资源不足。但是申请资源不足不应该会一直报错 资源无法申请到吗，我们的是任务一直处于创建中，日志没有报错。。 ...
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
最新发布
qq_32020645的博客
12-28 1455
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
hadoop yarn 使用_flink on yarn 模式下提示yarn资源不足问题分析
weixin_29208327的博客
01-26 3349
背景在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里，并在client端一直输出如下日志：(YarnClusterDescriptor.java:1036)- Deployment took more than 60 seconds. Please check if the requested resources are available in th...
spark 大型项目实战(四十六):troubleshooting之解决YARN队列资源不足导致的application直接失败
u012957549的博客
07-03 3121
如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。 跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu core。 比如说，某个spark application，在spark-submit里面你自己配了，executor，80个...
76.Spark大型电商项目-用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败
someby的博客
03-28 367
目录 现象 解决方案 本篇文章记录用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败。 现象 如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。 假设一个生产环境中的，给spark用的yarn资源...
flink on yarn 模式缺少资源，出现任务堵塞现象
ShiHao_Li的博客
04-28 3731
flink on yarn 模式，缺少资源，出现任务堵塞现象： 1.报错信息如下： Application is added to the scheduler and is not yet activated. (Resource request: <memory:94208, vCores:48> exceeds maximum AM resource allowed). Application is added to the scheduler and is not yet activate
hadoop任务优化-调整Yarn队列资源
wisgood的专栏
09-24 9062
hadoop任务优化1-调整Yarn队列资源
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3762
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
flink提交作业到yarn
chanyue123的博客
12-01 8632
讲解flink如何提交到yarn
Flink on Yarn运行模式之详细解析
zjjcchina的博客
11-27 957
与Per-Job-Cluster的区别：就是Application Mode下, 用户的main函数式在集群中执行的，并且当一个application中有多个job的话，per-job模式则是一个job对应一个yarn中的application，而Application Mode则这个application中对应多个job。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。
[spark 面试]yarn 生产环境下资源不足问题和网络的问题
无
09-02 2551
1、Yarn资源不足无法提交Spark的问题  2、Yarn-Client下网络流量的问题 ResourceManager会接收你的提交请求吗？Yarn一般把自己的资源分成不同的类型，我们接收的时候会专门提交到分配给Spark那一组资源，例如说此时资源信息如下：Memory 1000G，Cores 800个，此时你要提交的Spark应用程序可能需要900G的内存和700个Core，一定会没有...
troubleshooting之解决YARN队列资源不足导致的application直接失败
tianqinglei的博客
09-21 2970
1、YARN队列资源不足导致的application直接失败的 现象       如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。       跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu core。 比如说，某个spa
Spark troubleshooting:OOM+shuffle文件拉取失败+YARN队列资源不足+序列化报错+返回NULL+错误持久化...
Transkai
09-03 227
一.troubleshooting之控制shuffle reduce端缓冲大小以避免OOM 二.troubleshooting之解决JVM GC导致的shuffle文件拉取失败 三.troubleshooting之解决YARN队列资源不足导致的application直接失败 四.troubleshooting之解决各种序列化导致的报错 你会看到什么样的序列化导致的报错？ 用client...
spark troubleshotting之解决YARN队列资源不足导致的application直接失败
mn_kw的博客
07-19 1525
现象： 如果，你是基于yarn来提交spark,比如yarn-cluster或者是yarn-client，你可以指定某个hadoop队列上的，每个队列都是有自己的资源的， 生产环境中，给spark用的yarn资源队列的情况：500G内存，200个cpu core 比如说，某个spark application，在spark-submit里面你自己配了，executor,80个，每个execu...
Flink在YARN上部署，实例过于集中在一个主机，机器内存不够用，任务崩溃的解决
OkGogooXSailboat的博客
11-25 270
在我们的中的DataStudio中，提供了离线分析和实时计算的功能。实时计算功能的计算引擎是Flink，我们提供了基于YARN容器，一键部署计算管道的能力。一个工作空间在生产环境下，可以运行有多个Flink集群。工作空间中的一条计算管道，可以部署到各个集群得到多个FlinkJob实例。在我们的生产环境下，计算管道和集群数量都较多，在部署的时候，发现基本都在1两台机器上运行了Flink集群。而且这一两台机器还与另外一个运行XTask任务的YARN资源队列共享资源。
【调优/排错】Hadoop：flink on yarn 模式下提示yarn资源不足：Running and Pending Application Limits
hiliang521的博客
09-20 1335
【调优/排错】Hadoop：flink on yarn 模式下提示yarn资源不足：Running and Pending Application Limits
第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解
段智华的博客
07-15 2572
第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解 1 Yarn生产环境下资源不足无法提交spark 2 yarn－client网络流量的问题 spark streaming 这里是用sparkContext来运行JOB的 看一下源代码，可以仿照来写java 的submit job ...
flink1.10 在yarn上运行job报内存超出
ASN_forever的博客
05-27 5465
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar org.apache.flink.client.program.Prog.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值