org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.

最新推荐文章于 2024-07-15 16:52:49 发布
最新推荐文章于 2024-07-15 16:52:49 发布
阅读量4.8k 收藏 1
点赞数 1
分类专栏： kafka flink 文章标签： kafka flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38040473/article/details/107540999
版权

今天突然遇到这样的问题，网上说JDK版本不对，本人换了JDK没有卵用。

原因是flink处理kafka的数据时，kafka宕机造成的。

何以清风
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
【Flink】Flink 1.9 版本 The TaskSlotTable has to be started
九师兄
07-27 746
1.概述 Flink 日志偶然看到错误 没时间看，也没去看，无解中。。
flink cdc 连接池不可用 异常问题排查解决
baidu_34810744的博客
05-16 961
解决办法：修改连接池大小，重启集群。详细操作加微信：wxjffj。
flink1.13报错：The file STDOUT does not exist on the TaskExecutor
海若_matrix的博客
08-30 4916
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出，当你去web-ui点击stdout目录，就会报一个这儿样的接口请求错误，并不影响程序运行，可忽略。2.如果没有sout输出，不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......
FLINK异常总结
迷思
12-23 7540
Flink常见错误和解决方法总结，希望能给大家提供有用的帮助~~有任何好的建议请大家不吝赐教！！！Flink这B玩意儿的API玩意儿是极其难用的~~~~还请大家慎重
Flink 问题总结
weixin_42119153的博客
12-20 8287
1.local运行报错 1. Memory manager has been shut down.（org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.） 现象：在执行过程中，一开始流处理都可以执行，但是几秒后就停住了，经过debug和日志分析，Mini Cluster被停了。 但是相同的代码、依赖同学又可...
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
flinkx初探
victory0508的专栏
01-28 285
1. 下载 proxychains4 wget https://github.com/DTStack/flinkx/releases/download/1.10.4/flinkx.7z 2. 解压 sudo yum -y install p7zip 7za x flinkx.7z 3.运行例子 bin/flinkx -mode local -job docs/example/stream_stream.json -pluginRoot syncplugins 4.发现的问题 4.1BLOB .
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server ...
Packt.Mastering.Apache.Flink
12-12
Packt.Mastering.Apache.Flink, flink的简介,flink的初步入门
flink-connector-kafka_2.11-1.7.1-API文档-中英对照版.zip
07-14
标签：apache、flink、connector、kafka、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明...
Flink 中文文档资料.zip
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
flink-connector-base-1.13.2-API文档-中英对照版.zip
06-05
标签：apache、flink、connector、base、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明...
【Flink】Flink 1.12.2 TaskSlotTable
九师兄
08-07 575
1.概述 转载：Flink 1.12.2 源码浅析 : TaskSlotTable 多个{@link TaskSlot}实例的容器。 此外，它还维护多个索引，以便更快地访问任务和分配的slots。 当slots无法分配给job manager时会自动超时… 在使用 TaskSlotTable 之前，必须通过 {@link #start} 方法启动它。 二 .TaskSlotTable 接口 名称描述start根据给定的 slot actions 启动 task slot tablegetAllocati.
FlinkSQL报错：org.apache.flink.util.FlinkException: Could not upload job files.
yuchendejiyi的博客
03-31 6584
1、首先我使用的Flink版本 Flink1.12.0 2、出现错误场景 在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息 ---> 报错信息 ---> 分析 org.apache.flink.util.FlinkException: Could not upload job files 这个错误较为笼统，根据这个定位会很模糊，值得注意的是下面的报错： 20
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动
chenxyz707的博客
06-01 6236
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动 某天集群Zookeeper因为OOM挂掉，引起基于此ZK作HA的Flink集群出现故障。 在Zookeeper恢复后，重启Flink集群(版本1.7.2)时出现如下报错，导致集群无法正常启动。 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error oc
MacOS 安装flink中遇到的问题
linqi的博客
05-05 1932
系统MacOS Catalina 1.安装步骤 brew install apache-flink 2.默认安装位置 /usr/local/Cellar/apache-flink/1.10.0 和直接从官网下载的压缩包解压不一样，通过brew安装的flink，真正的安装位置不在bin，而在/usr/local/Cellar/apache-flink/1.10.0/libexec/下面。 ...
6.4 ThreadPoolExecutor线程池的关闭方法shutdown和shutdownNow区别、示例
一点光辉的博客
07-07 1万+
shutdown(): 把线程池的状态设置成SHUTDOWN状态，然后中断所有没有正执行任务的线程 shutdownNow(): 首先把线程池的状态设置成STOP,然后尝试停止所有正在执行任务或者暂停任务的线程，并返回等待执行任务的列表 常用 通常我们调用shutdown()方法关闭线程池，如果不需要任务执行完成，可以调用shutdownNow(） 原理 遍历线程池中的工作线程，然后组个调用线程的interrupt方法来中断线程，所以无法响应中断任务的可能永远无法停止 其他方法 isShu
Kafka（四） Consumer消费者
最新发布
jiezheee的专栏
07-15 802
再者，当有新的消费者加入时，那么必然会再均衡，某个分区可能在再均衡之后分配给新的消费者，如果不持久化保存消费位移，那么这个新消费者也无法知晓之前的消费位移。上图是自动提交位移。② seek方法只能重置消费者分配到的分区的消费位置，而分区的分配是在 poll方法过程中实现的，也就是说在执行seek之前需要先执行一次poll，等到分配到分区之后才可以重置消费位置。如果所有的消费者都隶属于不同的消费组，那么所有的消息都会被广播给所有的消费者，即每条消息会被所有的消费者处理，这就相当于发布／订阅模式；
org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
08-18
这个错误信息表明在 Apache Flink 中发生了一个作业异常，具体为 "Recovery is suppressed by NoRestartBackoffTimeStrategy"。这通常是由于某种错误或故障导致作业无法进行恢复并重新启动。NoRestartBackoffTimeStrategy 是一种策略，用于阻止作业在发生故障后自动重启。 要解决这个问题，可以尝试以下几个步骤： 1. 检查日志：查看作业的详细日志，以确定引发异常的具体原因。日志中可能会提供更多有关错误的细节，帮助你定位问题。 2. 检查代码和配置：检查你的 Flink 作业代码和配置文件，确保没有错误或配置问题。特别注意任何可能导致作业无法恢复的设置。 3. 确认资源可用性：确保 Flink 作业所需的资源（例如，内存、CPU、网络等）可用并正确配置。资源不足或配置错误可能导致作业无法正常运行或恢复。 4. 更新 Flink 版本：如果你正在使用较旧的 Flink 版本，尝试升级到最新的稳定版本。某些错误和问题可能已在较新的版本中修复。 5. 启用重启策略：如果你确定作业可以通过自动重启进行恢复，并且你想要启用自动重启，可以尝试使用不同的重启策略。NoRestartBackoffTimeStrategy 是一种禁止自动重启的策略，你可以尝试使用其他策略，如固定延迟重启策略或指数退避重启策略。 请注意，以上步骤仅提供了一些常见的解决方法，具体解决方法可能因情况而异。如果问题仍然存在，请提供更多的上下文和详细信息，以便我能够更好地帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

何以清风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值