【flink】flink Source Coordinator Thread already exists driving actions Source Coordinator. Existing

最新推荐文章于 2024-06-06 17:57:19 发布
最新推荐文章于 2024-06-06 17:57:19 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/122468794
版权
大数据-flink 专栏收录该内容
838 篇文章 846 订阅 ¥99.90 ¥299.90
订阅专栏
一个Flink程序在运行中因尝试创建已存在的Source Coordinator Thread导致崩溃。异常发生在尝试启动新线程时，与FLINK-24855相关的问题相似。重启集群后恢复正常，但寻求防止问题再次发生的解决办法。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

一个flink程序，什么也没做 ，昨天晚上9点的时候 集群突然就挂了，我7点下班的时候 还好好的

然后报错：Source Coordinator Thread already exists. There should never be more than one thread driving the actions of a Source Coordinator. Existing Thread

具体异常栈如下
在这里插入图片描述
报错位置位于：org.apache.flink.runtime.source.coordinator.SourceCoordinatorProvider.CoordinatorExecutorThreadFactory#newThread

这里看到是想创建一个线程，但是发现已经有了。

  @Override
        public synchronized Thread
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
专栏目录
订阅专栏
Flink架构、原理与部署测试
白乔专栏
09-06 589
http://blog.csdn.net/jdoouddm7i/article/details/62039337Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreemen
flink1.14.0+mysql5.7+mysqlcdc2.2.1报错org.apache.flink.shaded.guava18.com.google.common.util.concurren
weixin_50336269的博客
03-01 2645
org.apache.flink.shaded.guava18.com.google.common.util.concurrent.ThreadFactoryBuilder
Flink协调器Coordinator及自定义Operator
最新发布
shirukai
06-06 1331
最近的项目开发过程中，使用到了Flink中的协调器以及自定义算子相关的内容，本篇文章主要介绍Flink中的协调器是什么，如何用，以及协调器与算子间的交互。
flink 踩坑记录
theweather的博客
07-01 1442
flink cdc踩坑记录
Flink异常问题处理
Samooyou的博客
05-10 853
1、ERROR org.apache.flink.yarn.YarnResourceManager - Could not start TaskManager in container container_e04_xxx java.lang.NoClassDefFoundError:Cound ont initialize class org.apache.flink.runtime.entrypoint.parser.CommandLineOptions ...
Flink常见报错持续更新
欲望以提升热忱 毅力以磨平高山
07-05 1581
Flink-1.10 1、Job因为没有可用的任务slot而失败 2021-06-24 12:50:36,433 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job Windowed Join Example (d2f1e2b84ab8bc67298b32022a77c4fa) switched from state RUNNING to FAILING.org.apache.flink.runtime.jobmanager.s
Flink-Data-Source.md
08-07
Flink_Data_Source
flink.bat（windows安装flink所需批处理文件）
08-15
flink.bat（windows安装flink所需批处理文件） D:\flink-1.12.2\bin>flink.bat run ../examples/batch/WordCount.jar
flink 流式表自定义StreamTableSource、RetractStreamSink，并使用flink kafkaDataStream.pdf
05-14
本文件是自己根据flink1.8官网文档https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/table/streaming/time_attributes.html#using-a-tablesource里实现的自定义StreamTableSource，并且输入流也用...
CDH集成Flink.doc
03-01
如果直接下载压缩包，则可以从官方网址下载对应版本：`https://flink.apache.org/zh/downloads/`，选择`Apache Flink 1.17.1 -(Source)`。 ##### 1.2 配置Maven镜像 由于Flink的构建过程依赖于Maven，因此配置合适...
flink13.1 操作clickhouse 的代码实现 包括自定义 source 自定义 sink
08-28
flink13 操作clickhouse 的代码实现 包括source sink 的代码实现直接mavne clean install 放入到 flink lib 目录下 然后直接运行就可以 用flink sql 往clickhouse 中 的 clickhouse inck source 和 sink sql 直接...
Flink CDC相关记录
黄大大的java学习笔记
11-16 3935
Flink CDC问题记录
Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.
weixin_45943866的博客
07-19 1万+
在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。
Flink : UnknownTaskExecutorException: No TaskExecutor registered under
九师兄
07-03 4253
异常类UnknownTaskExecutorException继承自ResourceManagerException，构造函数显示了错误消息"No TaskExecutor registered under {taskExecutorId}."，其中taskExecutorId是引发异常的具体TaskExecutor的ID。综上所述，您可以根据以上分析和推测，检查TaskExecutor ID是否正确，查看注册TaskExecutor的过程中是否有异常，以及排除与通信或网络相关的问题。
基于流计算 Oceanus（Flink） CDC 做好数据集成场景
cloudbigdata的博客
02-16 2662
作者：黄龙，腾讯 CSIG 高级工程师数据时代，企业对技术创新和服务水准的要求不断提高，数据已成为企业极其重要的资产。无论是在在企业数据中台的建设，亦或者是打造一站式数据开发和数据治理的P...
Flink cdc +doris生产遇到的问题汇总-持续更新
qq_31866793的博客
02-14 1万+
版本： Flink版本 1.13 Flink cdc版本 2.1.1 场景说明： 使用flink cdc stream api 读取mysql整库数据直接写入doris 大概100G数据量，大概几十个表，大表小表，字段多，字段少，单个字段类型复杂等等情况都包含了。 出现情况： 任务运行一段时间之后挂掉，出现问题： 2022-02-11 18:33:59,461 INFO com.ververica.cdc.connectors.mysql.source.enumerator.My.
Flink 问题总结
weixin_42119153的博客
12-20 8339
1.local运行报错 1. Memory manager has been shut down.（org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.） 现象：在执行过程中，一开始流处理都可以执行，但是几秒后就停住了，经过debug和日志分析，Mini Cluster被停了。 但是相同的代码、依赖同学又可...
flink错误本-错误记录
热门推荐
epitomizelu的专栏
04-21 1万+
1，flink集群启动失败。 原因：从node1分发到其他节点，在node1上建立了到flink的软连接，使用软连接来操作。分发到其他服务器后，并没有建立软连接。导致集群启动失败，甚至影响了虚拟机的运行，导致虚拟机假死。 ...
flink遇到的坑
晴空的博客
01-26 1万+
flink运行一切顺利，在发送数据量快达到1G的时候，突然发生故障，无故重启，最终导致整个flink程序崩溃。 发现问题后，就开始测试，追踪到日志，如下： AsynchronousException{java.lang.Exception: Could not materialize checkpoint 1143 for operator logData -> Sink: host
org.apache.flink.runtime.checkpoint.CheckpointException: Checkpoint Coordinator is suspending.
05-17
这个错误通常表示 Flink 的 Checkpoint 协调器正在挂起或关闭。这可能是由于某些错误或异常情况导致的，例如任务或作业失败，或者 Checkpoint 协调器本身遇到了错误。 为了解决这个问题，你可以尝试以下步骤： 1. 检查 Flink 任务或作业的日志，看看是否有其他错误或异常情况发生，例如内存不足或网络问题。 2. 检查 Flink 集群的日志，看看是否有关于 Checkpoint 协调器的错误或异常情况。 3. 确保 Flink 集群和任务的配置是正确的，特别是关于 Checkpoint 的配置，例如 Checkpoint 的间隔时间和最大并发 Checkpoint 数量等。 4. 如果问题仍然存在，可以尝试重启 Flink 集群，并重新提交任务或作业。 如果以上步骤都没有解决问题，那么你可以提供更多的细节信息，例如 Flink 版本、作业配置和日志等，以便进行更深入的分析和解决问题。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值