【FLink-未解决】FLink Mertic 冲突 导致 任务挂掉 Namecollision Group allready contains a mertics

最新推荐文章于 2024-08-14 12:10:36 发布
最新推荐文章于 2024-08-14 12:10:36 发布
阅读量638 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink mertic 冲突
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/121203960
版权
大数据-flink 专栏收录该内容
838 篇文章 847 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了一种情况，当Flink作业因Job Manager节点瞬时连接异常从运行状态变为暂停状态后，恢复过程中遇到Metric名称冲突问题，导致任务无法成功恢复。该问题是否为Flink的bug有待进一步确认。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

由于 job manager 节点，瞬时连接异常，导致任务由 running 状态变为 suspended 状态。由于 jm 由设置高可用，恢复的时候，提示 metric name 冲突了(flink ui 上有设置 metrics)，进而导致任务恢复失败。这是 bug 嘛？

在这里插入图片描述

九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
【Flink】Flink 指标监测 相关源码
九师兄
11-21 650
实现了View接口的Metric，需要定期的调用update方法，进行状态的更新，而这个定期更新的功能是通过ViewUpdater实现的，其构造函数中，就是在executor中添加了一个定期执行的task。Flink对于指标监测有一套自己的实现，指标的统计方式有四种，这些指标都实现了Metric这个接口，而Metric这个接口只是一个标识，本身并没有定义如何方法接口，部分子类的继承关系如下所示。MeterView还实现View接口，实现View接口的类，表示其会定期的执行update方法，进行数据的更新。
深入理解Flink ---- Metrics的内部结构
weixin_30635053的博客
05-30 600
从Metrics的使用说起 Flink的Metrics种类有四种Counters,Gauges,Histograms和Meters. 如何使用Metrics呢? 以Counter为例, 1 public class MyMapper extends RichMapFunction<String, String> { 2 private transient Cou...
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
03-19
flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。 - **环境变量设置**：配置`FLINK_HOME`环境变量指向解压后的目录，并将`bin`目录添加到PATH环境变量中。 - **启动与停止**：...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
05-21
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...
flink-1.14.0-bin-scala_2.11.tgz
07-18
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
Flink源码系列——指标监测
混混的博客
03-20 8415
1、Metric简介 Flink对于指标监测有一套自己的实现，指标的统计方式有四种，这些指标都实现了Metric这个接口，而Metric这个接口只是一个标识，本身并没有定义如何方法接口，部分子类的继承关系如下所示。 从图中可以看出，Metric这个接口有四个直接子类，分别是： Gauge —— 最简单的度量指标，只是简单的返回一个值，比如返回一个队列中当前元素的个数； Cou...
关于project already contains module with this name 的解决方案
热门推荐
qq_33389963的博客
02-18 1万+
关于project already contains module with this name 的解决方案 1.首先到project setting（默认快捷键是 ctrl+shift+alt+s）找到主module的关联去除如下图： 2.关键步骤：将视图切换成project模式然后选中该module右键删除，这样就可以从新导入了 ...
Flink - metrics
weixin_34310785的博客
11-10 450
  Metrics是以MetricsGroup来组织的 MetricGroup MetricGroup 这就是个metric容器，里面可以放subGroup，或者各种metric 所以主要的接口就是注册， /** * A MetricGroup is a named container for {@link Metric Metrics} and further...
tensorflow解决keras报错 “AlreadyExistsError: Another metric with the same name already exists.“
Junko 的博客
11-14 6348
tensorflow解决keras报错 "AlreadyExistsError: Another metric with the same name already exists." 最近要用到keras的一些API，用conda install keras之后不起作用，然后uninstall之后用pip重新安装后报了这个错。 我的tensorflow是2.6，装的keras是2.7。 从字面意思看是已经安装了两个keras的冲突，这里搬运一下stackoverflow上的帖子原帖： 在tensorflow
【颠覆数据处理的利器】全面解读Apache Flink实时大数据处理的引擎-上篇
KKwan的博客
08-07 996
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。事件驱动的应用程序是一种有状态的应用程序，它从一个或多个事件流中提取事件，并通过触发计算、状态更新或外部操作对传入事件做出反应。事件驱动型应用程序是传统应用程序设计的演变，具有分离的计算层和数据存储层。在此架构中，应用程序从远程事务数据库读取数据并将数据保存到其中。相比之下，事件驱动型应用程序基于有状态的流处理应用程序。
Flink cdc正确打开方式（flink on yarn）
guofei_ok的博客
08-10 302
3、oracle驱动缺失, on yarn缺失的jar需要拷贝到#FLINK_HOME/lib/1、Flink on yarn模式下，flink cdc需要先启动yarn-session模式。2、启动之后进行正常测试。
6、Flink 添加 Table API 的 Pipelines 到 DataStream API 详解
猫猫爱吃小鱼粮
08-14 171
Flink 添加 Table API 的 Pipelines 到 DataStream API 详解
Flink-DataWorks第三部分：数据集成（第59天）
syhiiu的博客
08-08 1874
本文主要详解了DataWorks的数据开发流程及操作，为第三部分：由于篇幅过长，分章节进行发布。后续： 运维中心的使用。
Flink开发（一）：概述与基础
08-08 1256
在现代数据处理领域，Apache Flink已成为实时大数据处理的首选技术之一。Flink的高效、低延迟和强大的容错能力使其在流处理和批处理场景中广受欢迎。本文将介绍Flink的基本概念、核心组件以及基础应用，帮助读者全面了解Flink的开发与应用。
flink车联网项目前篇：建模设计（第65天）
最新发布
syhiiu的博客
08-14 1195
本文主要详解了维度建模和flink车联网项目的建模设计。由于篇幅过长，后续章节：数据开发。
flink-connector-mysql-cdc 和 mysql-connector-java 依赖冲突
05-31
flink-connector-mysql-cdc 是一个用于将 MySQL 数据库中的数据变化捕捉到 Flink 流处理应用程序中的库。它依赖于 mysql-connector-java 库来连接 MySQL 数据库。如果你在项目中同时引入了 flink-connector-mysql-cdc 和 mysql-connector-java，可能会出现依赖冲突的问题。 具体来说，如果你在项目中引入了不同版本的 mysql-connector-java 和 flink-connector-mysql-cdc，可能会导致编译错误或者运行时异常。解决这个问题的一种方法是将 mysql-connector-java 库排除掉，让 flink-connector-mysql-cdc 使用你指定的版本的 mysql-connector-java 库。例如，在使用 Maven 进行构建时，可以在 flink-connector-mysql-cdc 的依赖项中添加 exclude 标签，如下所示： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>${flink.version}</version> <exclusions> <exclusion> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </exclusion> </exclusions> </dependency> ``` 这样就可以避免 flink-connector-mysql-cdc 和 mysql-connector-java 的依赖冲突了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值