Flink的TaskManager启动(源码分析)

最新推荐文章于 2024-04-28 03:22:57 发布
最新推荐文章于 2024-04-28 03:22:57 发布
阅读量718 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013939918/article/details/106965244
版权
本文深入探讨了Flink TaskManager的启动过程，从TaskManagerRunner的main方法开始，详细阐述了TaskManager如何启动RPC服务，初始化网络环境、内存管理、IO管理以及定时器服务。还提到了TaskExecutor的重要方法，如请求slot、启动Task和触发Checkpoint的RPC，为后续的分布式快照对齐机制打下基础。
摘要由CSDN通过智能技术生成

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner

来看一下它的main方法中

最后被start了起来

start其实是将taskManager 端的RPC服务起起来了

看一下TaskManagerRunner的构造方法中

调用了这个startTaskManager()方法，在这个方法中又调用了

在这个方法中.fromConfiguration()

看到创建了一个networkEnevironment并且把它起了起来其中

最低0.47元/天 解锁文章
哥伦布112
关注
专栏目录
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
flink源码分析.pdf
09-17
JobManager负责启动和调度任务，而TaskManager则负责执行任务。在这个过程中，Task对象的生成、运行以及StreamTask的执行逻辑都是需要深入理解的关键点。 StreamOperator是Flink数据处理的基础，它包括了数据源的...
006_flink源码分析-taskmanager的启动
colossus——bigdata的专栏
05-06 582
TaskManagerRunner 启动源码分析 taskmanger TaskManager 是 Flink 的从节点，它负责 Flink 中集群的worker节点上 slot 资源的管理以及具体 task 的执行。TaskManager 上的基本资源单位是 slot，一个作业的 task 最终会部署在一个 TaskManager 的 slot上运行，TaskManager 会负责维护本地的 slot 资源列表，并来与 Flink Master节点 和作业的主节点 JobMaster 通信。 public
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
Flink 1.13 源码解析——TaskManager启动流程 之 与ResourceManager的注册交互
EdwardWang_的博客
08-29 1293
TaskExecutor 向ResourceManager的注册、心跳、资源汇报流程
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1934
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
Flink源码解析.zip
06-04
5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— ...
flink-1.9.0-bin-scala_2.11.tgz
08-07
4. 配置`conf/flink-conf.yaml`，设置集群参数，如JobManager和TaskManager的地址。 5. 使用`bin/start-cluster.sh`启动本地或分布式集群。 四、基于源码开发与运行 1. 在源码中创建新的模块，编写DataStream或...
Flink超神文档.pdf
01-29
- **安装步骤**: 安装 Flink 服务器端、启动 JobManager 和 TaskManager。 - **提交Job到standalone集群**: 使用 `flink run` 命令提交 Job。 **3.3 Standalone HA集群安装&测试** - **集群角色划分**: 除了 ...
linux下安装flink集群
02-20
你可以从Apache Flink的官方网站下载对应版本的源码包，然后通过`wget`或`curl`命令将其下载到Linux服务器： ```bash wget https://archive.apache.org/dist/flink/flink-1.11.3/flink-1.11.3-bin-scala_2.11.tgz `...
Flink1.15源码解析--启动TaskManager
chbxw
11-17 1292
flink1.15源码解析--启动taskManager
flink 使用问题记录
岁月静好，做自己。
02-23 2712
1. 提交flink任务： Process finished with exit code 130 org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e87852fa7a12e2276e2876c067a not found at org.apache.flink.runtime.rest.handler.job.AbstractExecutionGraphHandler.lambda$handleRequest$1(AbstractE
Apache Flink源码分析---TaskManager启动
wjandy0211的博客
09-30 500
Flink启动主要是启动JobManager进程和TaskManager进程，本章我们总结一下TaskManager的启动流程： TaskManager启动流程： TaskMananger的启动类是：org.apache.flink.runtime.taskexecutor.TaskManagerRunner 配置TaskManager启动: TaskManager入口： public static void main(String[] args) throws Exception {
flink集群搭建TaskManagerRunner启动失败
qq_44540985的博客
11-26 2472
flink集群搭建TaskManagerRunner启动失败
Flink 1.9源码学习03 ---- TaskManager启动源码
qq_31866793的博客
10-10 271
通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner --->>> 我们先看它的main方法： 调用了runTaskManager方法，启动task manager： 启动了taskManager start其实是将taskManager...
Flink源码分析(6)TaskManager启动源码分析
最新发布
道可道非常道
04-28 1231
从堆栈追踪可以发现，Flink Per-job下的TaskManager的任务类也回到了TaskManagerRunner，与Standalne一致。可以发现，在这里创建了TaskManagerRunner，并且启动TaskManagerRunner。方法触发，通过追踪发现TaskManager的启动类为。4.2 首先创建了TaskExecutor，继续追踪。这里的堆栈调用链路比较长，但总体思想就是想RM注册。方法继续分析TaskManager的启动源码。这里启动了taskSlotTable，同时在。
Apache Flink Task类源码分析
860MHz的专栏
06-13 768
1. 简介 Apache Flink由两类运行时JVM进程管理分布式集群的计算资源。 JobManager进程负责分布式任务管理，如任务调度、检查点、故障恢复等。在高可用性（HA）分布式部署时，系统存在多个JobManager，一个leader和多个standby。JobManager是Flink主从架构中的master。 TaskManager进程负责执行任务线程（即子任务subtask）、缓...
flink taskmanager参数优化
wppwpp1的专栏
04-08 2965
taskmanager.network.memory.exclusive-buffers-request-timeout-ms=600000; taskmanager.network.memory.fraction= 0.4; taskmanager.memory.managed.fraction=0.1; taskmanager.network.memory.max=1024mb; taskmanager.network.memory.min=512mb; 如果报oom相关参数调优 ...
Flink 1.13 源码解析——TaskManager启动流程概览
EdwardWang_的博客
08-29 1263
Flink 1.13 源码解析 TaskExecutor启动概述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值