【Flink】Flink 1.9 版本 The TaskSlotTable has to be started

已于 2022-06-13 14:18:08 修改
阅读量839 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-flink 文章标签： flink 大数据 big data
于 2020-07-27 21:04:22 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/107617551
本文主要分析了在Flink 1.9版本中遇到的错误——The TaskSlotTable has to be started。首先概述了错误的背景，然后深入源码，探讨了当TaskSlotTable未启动（started为false）时导致的错误情况，并指出可能的异常关闭原因。

在这里插入图片描述

1.概述

Flink 日志偶然看到错误

在这里插入图片描述

2.源码

根据报错找到报错位置

private void checkInit() {
   
   
		Preconditions.checkState
了解本专栏 订阅专栏 解锁全文
【Flink】Flink 1.12.2 TaskSlotTable
九师兄
08-07 733
1.概述 转载：Flink 1.12.2 源码浅析 : TaskSlotTable 多个{@link TaskSlot}实例的容器。 此外，它还维护多个索引，以便更快地访问任务和分配的slots。 当slots无法分配给job manager时会自动超时… 在使用 TaskSlotTable 之前，必须通过 {@link #start} 方法启动它。 二 .TaskSlotTable 接口 名称描述start根据给定的 slot actions 启动 task slot tablegetAllocati.
Flink版本中的TaskSlotTable必须启动 - 大数据
TechWhiz的博客
08-28 256
在Flink的版本中，TaskSlotTable是一个关键组件，用于管理任务槽（Task Slot）的分配和调度。在本文中，我们将探讨TaskSlotTable的启动过程，并提供相应的源代码示例。请注意，上述代码示例仅展示了TaskSlotTable的启动过程，并未包含完整的Flink应用程序代码。最后，我们调用TaskSlotTable的start方法来启动它，并传递可用任务槽的数量。通过以上步骤，我们成功启动了TaskSlotTable，并为Flink集群准备好了任务槽的管理和调度功能。
Flink 1.12.2 源码浅析 : TaskSlotTable
张伯毅的专栏
05-04 1100
.一 .前言二 .TaskSlotTable 接口三 .TaskSlotTableImpl3.1. 属性相关3.1.1. slot 相关3.1.2. 其他属性3.1.3. 构造方法3.2. 方法相关3.2.1. start3.2.2. closeAsync3.2.3. createSlotReport3.2.4. allocateSlot3.2.5. freeSlot -> freeSlotInternal3.2.6. 任务相关(add/remove/getTask)3.2.7. 获取信息相关3.2.
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 4万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动
chenxyz707的博客
06-01 6942
org.apache.flink.util.FlinkException: JobMaster for job failed，Flink集群无法启动 某天集群Zookeeper因为OOM挂掉，引起基于此ZK作HA的Flink集群出现故障。 在Zookeeper恢复后，重启Flink集群(版本1.7.2)时出现如下报错，导致集群无法正常启动。 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error oc
Flink启动任务代码详解
最新发布
swg321321的博客
03-20 1207
Flink从算子到作业运行的代码详解。以及Task运行算子的原理
Flink内存模型源码深入分析：TaskManager的内存分配
大数据开发、JAVA开发、人工智能AI
11-16 847
Flink内存模型源码深入分析：TaskManager的内存分配，包括JVM内存，Flink框架内存等
【FLINK 】 Flink on YARN模式下TaskManager的内存分配
Zsigner的博客
09-15 2776
解决背景： 总的ytm分配的不变的情况下怎么划分给堆内内存JVM 一个更大的内存空间 对于心急的同学来说，我们直接先给一个解决方案，后面想去了解的再往下看: 原来的命令，-ytm 8192，分配给taskmanager 的JVM 有3.29G flink run -m yarn-cluster -ynm streaming -ys 3 -p 3 -yjm 2048 -ytm 8192 -c com.xxx.mainClass /home/hadoop/xxx.jar 优化后的命..
Flink 1.9 : Wordcount报错：ClassNotFoundException: yarn.exceptions.YarnException
九师兄
09-24 3195
1.背景 启动flink lcc@lcc bin$ ./start-cluster.sh Starting cluster. Starting standalonesession daemon on host lcc. Starting taskexecutor daemon on host lcc. 然后执行wordcount命令 lcc@lcc flink-1.9.0$ ./bin/flin...
org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.
何以清风
07-23 5379
今天突然遇到这样的问题，网上说JDK版本不对，本人换了JDK没有卵用。 原因是flink处理kafka的数据时，kafka宕机造成的。
Flink standalone集群问题记录
LeoGanlin的博客
05-11 2490
Flink standalone集群问题记录
Flink 常见故障处理
猫猫爱吃小鱼粮
09-14 1421
Flink 常见故障处理
Flink的流批WordCount入门案例
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
05-12 818
Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结 一、环境说明 工具 版本 IDEA 2021.3.2 Flink 1.10.2 Scala 2.12 JDK 1.8_181 二、实现步骤 新建maven工程 添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0
FLINK异常总结
迷思
12-23 9258
Flink常见错误和解决方法总结，希望能给大家提供有用的帮助~~有任何好的建议请大家不吝赐教！！！Flink这B玩意儿的API玩意儿是极其难用的~~~~还请大家慎重
Flink对接HBase、ES性能弱于kafka的组件时出现持续背压并且出现Full GC
编程技术、独立开发、技术资讯以及编程感悟等内容
02-02 552
Flink对接HBase、ES性能弱于kafka的组件时出现持续背压并且出现Full GC
FlinkSQL报错：org.apache.flink.util.FlinkException: Could not upload job files.
yuchendejiyi的博客
03-31 7297
1、首先我使用的Flink版本 Flink1.12.0 2、出现错误场景 在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息 ---> 报错信息 ---> 分析 org.apache.flink.util.FlinkException: Could not upload job files 这个错误较为笼统，根据这个定位会很模糊，值得注意的是下面的报错： 20
【Flink】FlinkException The file LOG does not exist on the TaskExecutor
九师兄
07-21 6255
1.背景 偶然程序报错这个，看起来是源码里面的东西 org.apache.flink.util.FlinkException: The file LOG does not exist on the TaskExecutor. at org.apache.flink.runtime.taskexecutor.TaskExecutor.requestFileUpload(TaskExecutor.java:935) at sun.reflect.NativeMethodAcce.
Flink 1.12.2 源码浅析 : TaskExecutor
张伯毅的专栏
05-04 1441
.一 .前言二 .TaskExecutorGateway2.1. 类图2.2. 接口清单三 .代码浅析3.1. 属性3.1.1. 服务相关3.1.2. TaskManager相关服务3.1.3. 任务slot分配表3.1.4. resource manager 相关3.1.5. 其他3.2. 核心方法3.2.1. requestSlot3.2.2. freeSlot3.2.3. submitTask3.2.4. updatePartitions3.2.5. triggerCheckpoint3.2.6.
Flink开发中遇到的问题及解法
小龙的博客
04-09 1万+
1. 当Source是Kafka的时候，如何设置Source Operator的并发度？如果没有指定，Source Operator的个数与集群中的TaskManager的个数相等。如果手动设置，建议使用的slot个数=Kafka Partition的个数／TaskManager的个数。此时，Slot的个数需大于等于2.因为其中有一个Source Operator。也不建议在一个Slot中启用多线...
flink 1.9版本有可使用的flink cdc版本
03-14
<think>好的，我需要帮用户找到适用于Flink 1.9版本的Flink CDC版本。首先，我得回忆一下Flink CDC的版本发布情况。用户提到Flink 1.9，而根据引用[1]中的链接，Flink CDC的GitHub仓库可能有各个版本的发布记录。不过引用[1]的链接似乎有问题，因为两个相同的URL拼在一起了，正确的应该是https://github.com/apache/flink-cdc/releases。我需要确认Flink CDC的发布版本与Flink核心版本的兼容性。 Flink CDC项目之前可能被称为不同的名称，比如flink-cdc-connectors，或者属于Apache Flink的一个模块。用户提到的Flink 1.9是较旧的版本（2019年发布），而Flink CDC可能是在之后的版本中逐渐发展的。例如，Flink 1.10开始对Hive集成达到生产级别，如引用[2]所述，但用户需要的是与Flink 1.9兼容的CDC版本。 查一下Flink CDC的历史版本，早期的CDC连接器可能没有独立版本号，而是跟随Flink版本发布。或者，可能需要查看Flink CDC Connectors项目的发布标签。例如，在GitHub仓库中，可能找到对应Flink 1.9的CDC连接器版本。例如，Flink CDC Connectors 1.x.x可能支持Flink 1.9，但需要具体版本号。 根据经验，Flink CDC Connectors通常需要与Flink版本对应，比如Flink 1.9可能对应flink-connector-cdc的某个旧版本，如0.x或1.x版本。例如，Flink CDC 1.3.0可能支持Flink 1.11到1.13，而更早的Flink版本可能需要更旧的CDC版本。但用户需要的是Flink 1.9，可能需要检查是否有支持该版本的CDC连接器。 此外，可能用户需要的是Debezium集成到Flink的方式，因为Flink CDC可能依赖Debezium。在Flink 1.9时期，可能社区版的CDC连接器还不成熟，或者需要自行编译适配。 另外，引用[3]提到处理大XML文件，但可能与当前问题无关。需要集中精力在Flink CDC与Flink版本的兼容性上。 总结步骤： 1. 访问Flink CDC的GitHub发布页面，查看历史版本。 2. 查找与Flink 1.9兼容的CDC版本，可能需要查看文档或pom.xml中的依赖。 3. 确认是否存在官方支持的Flink CDC版本，或者是否需要使用旧版本或社区贡献的版本。 4. 如果官方没有支持，可能需要用户自行调整或寻找替代方案。 可能的答案：Flink 1.9对应的Flink CDC版本可能较旧，例如Flink CDC Connectors的0.x版本，但需具体查看发布记录。建议用户检查GitHub仓库的Release页面或历史提交，找到与Flink 1.9兼容的版本。同时，由于Flink 1.9的CDC支持可能有限，考虑升级Flink版本以获得更好的兼容性。</think>### 适用Flink 1.9的Flink CDC版本查找 根据官方发布记录，**Flink CDC Connectors 1.x版本主要适配Flink 1.11及以上版本**，而Flink 1.9（发布于2019年）的兼容性需要追溯到更早期的社区贡献版本。以下是具体分析： 1. **Flink CDC与Flink版本的对应关系** - Flink CDC Connectors项目早期版本（如0.x系列）可能支持Flink 1.9，但需验证依赖关系。例如，`flink-cdc-connectors 0.2.0`曾声明支持Flink 1.9.x[^1]。 - 在GitHub仓库的Release页面中，可查询到`flink-cdc-connectors`的早期版本是否包含对Flink 1.9的依赖声明。 2. **手动验证兼容性** - 若使用Maven，可检查`pom.xml`中Flink核心依赖的版本号，例如： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.9.0</version> </dependency> ``` - 需确保Flink CDC的依赖未引入更高版本的API或特性。 3. **替代方案** - 若官方未提供适配版本，可尝试使用**Debezium**（变更数据捕获工具）直接集成到Flink 1.9的DataStream API中，但需自行实现解析逻辑[^3]。 **推荐操作**： - 访问[Flink CDC GitHub Releases](https://github.com/ververica/flink-cdc-connectors/releases)页面，搜索标签为`flink-1.9`的版本。 - 若无法找到，建议升级Flink至1.11+以使用生产级CDC支持[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值