Flink1.12 - 1.13 高可用遇到的bug

最新推荐文章于 2024-08-05 09:51:20 发布
最新推荐文章于 2024-08-05 09:51:20 发布
阅读量279 收藏
点赞数
分类专栏： Bug 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sonnie0000001/article/details/118734966
版权
这篇博客讨论了在提交applicationmode任务时遇到的问题，具体表现为任务ID缺少hash导致无法启动两个jobMaster。同时，使用yarn-session提交时，需要去除-tyarn-application选项才能正常运行，但该问题目前尚未得到官方解决。
摘要由CSDN通过智能技术生成

1.application mode 提交:
任务id 00000000000000000 id没有hash 后续没办法起两个jobMster
2.yarn-session 提交
-t yarn-application 不能用 得去掉才可以用

目前官方还没解决。**在这里插入图片描述**

Sonnie0000001（马库斯）
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[问题踩坑]Flink 1.11.1 on Yarn Application模式时，JobId始终为00000000000000000000000000000000
白夜的随笔
11-29 2920
使用Yarn Application模式启动Flink任务的命令如下 ./bin/flink run-application -t yarn-application hdfs://hadoop-master:9000/shadow/FlinkSQLTest-1.0-SNAPSHOT.jar 当Flink 任务启动后，发现JobId异常始终为00000000000000000000000000000000，而正常的JobId应该为一个随机的字符串 这是因为Flink的配置文件conf/flink-conf.
2021-11-12
weixin_43390992的博客
11-12 1688
Flink yarn-application怪异显示： run-application -t yarn-application insert-into_default_catalog.default_database.XXX ID:00000000000000000000000000000000 Flink yarn-application模式 JobId很怪异ID:00000000000000000000000000000000问题分析小记 搞技术难，坚持把一件事做好难，能坚持写文章记录踩坑生活更是难上加
flink的高可用配置ha-conf
09-28
flink高可用配置，flink 各项配置文件模板，flink-conf.yaml 重点是状态后端配置，基于flink1.11版本
flink：存在的一些bug
weixin_45730125的博客
08-04 638
flink的一些bug
flink 高可用 high-availability 配置的重试次数无效问题
云想慕尘的专栏
07-02 2861
问题背景 我根据这篇博客https://blog.csdn.net/cndotaci/article/details/106870413的介绍，配置了flink基于yarn的高可用，测试时发现配置的任务失败重试2次没有生效，我测试到第6次时，任务仍然能够被yarn拉起 如上图，除第一次手动启动外，下面的5次都是yarn的HA生效自动拉起。 那么，下面配置中的重试次数为什么没有生效？ flink版本：1.10.0 flink-conf.yaml配置： $ grep -v ^# flink-conf.yaml
Flink运行任务中，出现节点挂掉的现象--已解决
weixin_43655417的博客
07-23 5327
Flink App抛出The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed.此类异常，通过查看日志，一般就是某一个Flink App内存占用大，导致TaskManager（在Yarn上就是Container）被Kill掉。如果代码写的没问题，就确实是资源不够了，其实1G Slot跑多个Task（Slo...
flink jobmanager高可用配置及故障演练
06-06 2935
flink jobmanager高可用配置及故障演练
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
iceberg-flink-1.13-runtime-7f10407.jar
12-01
flink-1.13.2 iceberg0.13
flink-1.12-CDH-6.3.2.zip
03-19
标题“flink-1.12-CDH-6.3.2.zip”指的是一个包含Apache Flink 1.12版本与Cloudera Data Hub (CDH) 6.3.2集成的压缩文件。这个文件是为在CDH环境中运行Flink作业而准备的，确保了兼容性和优化。 描述“flink1.12...
flink-1.12-sql-demo:基于flink1.12，使用java，flink sql的demo，包含Mylsql，flinkcdc内置的Mysqlcdc
03-28
flink1.12.1 sql演示个人练习flink的演示。代码里自带数据生成，附带合适的数据演示。 pom.xml包含了flink绝大部分的依赖，maven下载会比较久。目前项目内容包含了环境Windows 10 ltsc 的Mysql8.0.23 Idea社区版2020...
flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包
02-11
flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包
Flink上线运行job应该考虑的事情
Baron_ND的博客
09-14 428
本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中，我们概述了重要的配置参数，这些参数是技术领导、DevOps、工程师们在将 Flink 应用程序上线生产之前都需要仔细考虑的。Apache Flink 为大多数配置都提供了开箱即用的默认选项，在许多情况下，它们是POC阶段（概念验证）或探索 Flink 不同 API 和抽象的很好的起点。 然而，将 Flink 应用程序投入生产还需要额外的配置，这些配置可以高效地调整应用的规模，使其达到生产就绪状态，并能与不同系统之间保持兼容，
flink启动命令参数_Flink实践之一：Flink on Yarn(HA)
weixin_39620252的博客
12-22 562
1. 配置yarn最大重试次数yarn-site.xml： yarn.resourcemanager.am.max-attempts 42. 配置Yarn重试次数[root@hadoop2 flink-1.5.0]# vi conf/flink-conf.yaml yarn.application-attempts: 10此参数代表Flink Job(yarn中称为application)在Job...
flink on yarn Per-job模式High Availability 配置
yumingzhu1的博客
07-22 2126
背景：flink on yarn Per-job 模式下flink 程序会经常挂掉，直接原因是是对应节点上的 flink的 job manager 挂掉了，导致程序失败，flink的重启策略，只对于task manager生效 。 因此为保证稳定性，需要配置job manager 高可用。 实现方案 官方：当运行一个高可用的 YARN 集群时，我们不会运行多个 JobManager(ApplicationMaster) 实例，而是只运行一个，在失败时由 YARN 重新启动。确切的行为取决于您使用...
Flink 1.12 与Flink 1.13 状态后端、检查点机制之间的差异
ks_1998的博客
07-16 1002
Flink 1.12 与Flink 1.13 状态后端、检查点机制之间的差异
flink-1.11 native k8s 测试
qq_24036471的博客
01-12 966
flink on k8s 目前有两种模式： Kubernetes：用户通过定义 flink 的 k8s 资源描述文件，由 kubectl 命令启动，最终以 standalone session cluster 或 standalone job cluster 模式运行。其中 standalone session cluster 运行多个作业；standalone job cluster 只运行一个作业。 Native Kubernetes：用户通过 flink run 命令直接提交作业，由 flink 客
【Flink】Flink 1.12.2 Task的调度 源码
九师兄
07-12 458
1.概述 转载：Flink 1.12.2 Task的调度 源码 一 .前言 在生成ExecutionGraph之后, Flink就可以根据ExecutionGraph生成具体的Task , 调度到TaskManager上开始执行. 二 .概念相关 调度器是 Flink 作业执行的核心组件，管理作业执行的所有相关过程，包括 JobGraph 到ExecutionGraph 的转换、作业生命周期管理（作业的发布、取消、停止）、作业的 Task 生命周期管理（Task 的发布、取消、停止）、资源申请与释放.
3、Flink 与 DataStream API 集成之批运行模式详解
最新发布
猫猫爱吃小鱼粮
08-05 296
Flink 与 DataStream API 集成之批运行模式详解
cdh flink-1.13
11-23
cdh flink-1.13是Cloudera Data Hub中集成的一个版本，它是针对实时流处理和批处理的开源框架Apache Flink的一个版本。Apache Flink是一个高性能、可伸缩的流处理框架，可以处理大规模的数据，并提供了丰富的API和工具，用于实现复杂的数据处理任务。 cdh flink-1.13版本在原有的功能基础上进行了一些增强和改进，包括改善了对流处理和批处理的支持，优化了任务调度和资源管理的性能，增强了与其他组件的集成能力等。同时，它还提供了更多的监控和调试工具，帮助用户更好地管理和运行其流处理应用。 通过cdh flink-1.13，用户可以快速搭建起自己的实时流处理和批处理平台，实现对海量数据的实时处理和分析。它可以广泛应用于互联网、金融、电商、物联网等领域，满足不同场景下的数据处理需求。 总之，cdh flink-1.13是一个功能强大、性能优越的流处理框架版本，可以帮助企业快速构建起自己的实时数据处理平台，实现数据驱动的业务创新和价值提升。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值