【Flink】flink on yarn 并行度设置高导致任务失败

最新推荐文章于 2023-05-24 13:56:52 发布
最新推荐文章于 2023-05-24 13:56:52 发布
阅读量803 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink yarn big data
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/121909063
版权

文章目录


在这里插入图片描述

1.概述

flink on yarn 并行度设置高了就失败有遇到过没，400的并行度就没事，设置成600就不断失败，是需要做什么额外的配置吗，比如网络缓冲？看报错日志没找到什么相关提示，版本是1.13.2

在这里插入图片描述
看了一下源码，发现是你启动的时候 改改初始化 或者 开始运行的时候失败的，感觉像是tm节点没起来就失败了。

其他错误如下

在这里插入图片描述
报错中的 这个域名看起来是正常的，能登陆到它，负载也不高，扫了下端口也可通，看样子像是taskmanager连不上job manager

大致是这样，taskmanager获取到了slot，也拿到了

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
增加并行度后，发现Flink窗口不会计算的问题。
T_Antry
10-19 1475
窗口没有关闭计算的问题，一直困扰了很久，经过多次验证，确定了问题的根源。是因为多个topic进行了数据消费，其中有个topic数据会进入窗口进行计算，但有的窗口又永远不会有数据进入计算，这就造成对应的窗口永远没有最低的watermark以致于窗口无法关闭并计算
【深入浅出flink】第14篇：kafka分区数与flink算子并行度导致Watermark不触发问题，大多数大数据开发者都会遇到的问题
雷恩Layne
01-30 4454
场景描述：flink消费分区有三个，其中第一个分区有数据，另外两个分区无数据。消费kafka分区的flink算子并行度为3，三个子任务分别消费kafka的分区，导致Watermark机制失效。
flink yarn 部署 并行度提不上去
weixin_43227630的博客
03-25 1412
flink yarn部署 并行度或者资源问题
flink任务并发度太高出现问题
yjh1271845364的博客
04-22 1524
task数并发度太高，需要单独设定网络参数 数据消费抖动，网络流量翻倍，后续还有好多模块，资源使用有点控制不住了
flink并行度设置问题
L13763338360的博客
02-04 2874
之前写过一篇文章，介绍flink的并行度问题：https://blog.csdn.net/L13763338360/article/details/106632612 并行度的设置有几种，按优先级先后依次是： 算子级别 执行环境级别 命令行级别 配置文件级别 公司用的flink是基于开源改造的，跟开源还是有些区别，使用过程中也碰到一些问题，这里简单总结下。 有两个跟并行度相关的配置 taskmanager.numberOfTaskManagers：taskManager数量 taskmana
Flink1.16 on Yarn hadoop3.1.1 提交任务失败解决
weixin_41917987的博客
05-24 477
查看了页面接口调用，返回为空数组，猜测是 Jobmanager 没有采集到 Metrics 信息，于是查看 Jobmanager 日志，报了一个 hadoop-common 包下 commons-math3 一个类找不到，说明hadoop-common 冲突了 flink 的类，将 hadoop-common 下的 commons-math3 排除掉就可以了。分析了 hadoop-common 开源和华为版本的区别，源代码改了很多，无奈只能老实用华为版本的包了。
flink1.14.3-on-cdh6.3.2
02-14
8. **性能优化**：针对CDH环境，优化Flink作业的并行度、资源分配、网络传输和数据序列化等方面，提升处理效率。 9. **监控与日志**：利用CDH的监控工具（如Cloudera Manager）以及Flink自带的监控接口，进行作业...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
最新发布
02-29
- **性能优化**：此版本可能包含性能提升，如更快的序列化、内存管理和并行度调整。 - **状态管理**：改进了对大型状态的处理和备份，确保数据一致性。 - **容错机制**：Flink的Exactly-once语义在1.16.2中可能...
Flink安装-简介.docx
07-30
这个文件用于设置 Flink 集群的参数，如 JobManager（JOP）的 Rpc 通信地址和端口，JVM 堆内存大小，以及任务内存的插槽数量和并行度大小。这些参数对 Flink 的性能和稳定性有很大影响，应根据实际硬件资源和需求...
linux_flink-1.13.0.rar
11-17
这里的`<number_of_taskmanagers>`是你要启动的TaskManager实例数量，`<slots_per_taskmanager>`是每个TaskManager上的槽位数，表示并行度。 启动成功后，你可以在YARN的Web UI中查看Flink的ApplicationMaster，...
flink入门到精通视频教程
07-15
14.扩展并行度的设置 第五章 DataStream开发 01.入门案例-流处理流程 02.入门案例-示例、参考代码 03.流处理常见Datasource 04.Datasource基于集合 05.Datasource基于文件 06.Datasource基于网络套接字 07....
spark并行度(parallelism)和分区(partition)未生效的问题
korry24的博客
04-20 1202
spark的并行度对spark的性能是又很大的影响的，spark任务能快速计算主要就是因为内存计算和并行计算。对于并行计算，我们就要涉及到并行度的问题，那并行度跟什么有关系呢？
Flink on yarn 高可用环境配置 high-availability
云想慕尘的专栏
06-20 1185
1. 背景 默认情况下一个flink job只启动一个jobManager，因此存在单点故障问题，所以生产环境中需要HA。 因为生产环境中基于yarn集群的flink应用场景更多，本文只介绍基于yarn的flink高可用配置。 2. 配置 配置yarn集群级别AM重启上限 # vim yarn-site.xml <property> <name>yarn.resourcemanager.am.max-attempts</name> <value>10
flink环境参数引起的错误
小屋
01-17 570
flink执行时遇到在本地能执行打包在集群上报jar包冲突的问题
Flink生产环境中的并行度和资源设置
gggSam的博客
09-10 905
在使用Flink处理生产实际问题时，并行度和资源的配置调优是经常要面对的工作之一，如果有效和正确地配置并行度是任务能够高效执行的必要条件。 Flink中的计算资源 首先理解Flink中的计算资源的核心概念，比如Slot、Chain、Task等，这有助于我们快速定位生产中的问题。 Task Slot Flink都是以集群在运行，在运行的过程中包含两类进程，其中之一就是TaskManager。 在Flink集群中，一个TaskManager就是一个JVM进程，并且会用独立的现场来执行task，为了控制一个Tas
flink的故障重启策略
06-25 301
已迁移。
Flink性能调优小小总结
微信搜：import_bigdata，大数据领域硬核原创作者
04-04 2072
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源1 配置内存操作场景Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage ...
06-Flink的并行度了解吗？Flink的并行度设置是怎样的？
huaxing_ba的博客
05-04 269
Flink的并行度了解吗？Flink的并行度设置是怎样的？
【Flink】并行度设置导致的负载倾斜 Key Groups 不均衡 计算最大并行度
九师兄
08-20 656
这表明每个子任务的算子没有收到相同数量的 Key Groups，它代表所有可能的 key 的一部分。如果一个算子收到了 1 个 Key Group，而另外一个算子收到了 2 个，则第二个子任务很可能需要完成两倍的工作。我们从一个简单的问题开始：在 Flink UI 中调查某个作业的子任务时，关于每个子任务处理的数据量，你可能会遇到如下这种奇怪的情况。搜嘎斯奈，我说我们公司的代码有一段是计算最大并行度的，然后设置了这个值，当初一直没找到相关的解释，也没去问，实在是不该呀。每个子任务的工作负载并不均衡。
flink on yarn配置
09-20
Flink on YARN的配置包括以下几个步骤： 1. 安装JDK 2. 安装Zookeeper 3. 安装Hadoop 4. 下载并安装Flink 5. 提交Flink作业到YARN集群 请按照以下步骤配置Flink on YARN： 1. 首先，安装JDK并确保已正确设置JAVA_HOME环境变量。 2. 接下来，安装Zookeeper。您可以根据您的需求从Zookeeper的官方网站上下载并安装最新版本的Zookeeper。 3. 安装Hadoop。您可以根据您的需求从Hadoop的官方网站上下载并安装最新版本的Hadoop。 4. 下载Flink，并将其解压缩到您选择的目录中。 5. 在Flink的安装目录中，使用以下命令提交Flink作业到YARN集群： ```shell ./bin/flink run -m yarn-cluster -p <parallelism> -yjm <jobmanager_memory> -ytm <taskmanager_memory> <jar_file> <arguments> ``` 请替换以下参数： - `<parallelism>`：作业并行度（即任务数量） - `<jobmanager_memory>`：JobManager的内存大小（例如，1024m表示1GB） - `<taskmanager_memory>`：TaskManager的内存大小（例如，4096m表示4GB） - `<jar_file>`：您要提交的Flink作业的jar文件路径 - `<arguments>`：您要传递给作业的其他参数（如果有的话） 以上是Flink on YARN的配置步骤。请按照上述步骤进行配置，并根据您的需求进行相应的参数调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值