Flink的TaskManager启动(源码分析)

最新推荐文章于 2024-04-01 22:52:25 发布
VIP文章 最新推荐文章于 2024-04-01 22:52:25 发布
阅读量694 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013939918/article/details/106965244
版权

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner

来看一下它的main方法中

最后被start了起来

start其实是将taskManager 端的RPC服务起起来了

看一下TaskManagerRunner的构造方法中

最低0.47元/天 解锁文章
哥伦布112
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 1万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
flink源码浅析和运行机理梳理
05-17
阅读建议：此资源基于flink的源码追踪并简单分析，学习参考的时候建议下载相应版本的flink源码，并搭建虚拟机安装部署测试flink，在运行过程中结合源码和笔记学习效果更佳。有经验的开发人员可以编译并debug flink的...
006_flink源码分析-taskmanager的启动
colossus——bigdata的专栏
05-06 519
TaskManagerRunner 启动源码分析 taskmanger TaskManager 是 Flink 的从节点，它负责 Flink 中集群的worker节点上 slot 资源的管理以及具体 task 的执行。TaskManager 上的基本资源单位是 slot，一个作业的 task 最终会部署在一个 TaskManager 的 slot上运行，TaskManager 会负责维护本地的 slot 资源列表，并来与 Flink Master节点 和作业的主节点 JobMaster 通信。 public
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 3万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
Flink集群从节点TaskManager启动分析(standalone)
最新发布
weixin_44852067的博客
04-01 1209
TaskManager 是 Flink 集群的工作进程，执行数据流的具体计算，称之为"Worker"。Flink集群必须至少有一个TaskManager；每一个TaskManager都包含了一定数量的任务槽(task slots)。Slot是资源调度的最小单位，slot的数量限制了TaskManager能够并行处理的任务数量。启动之后，TaskManager会向资源管理器注册它的slots；
Flink 1.13 源码解析——TaskManager启动流程 之 与ResourceManager的注册交互
EdwardWang_的博客
08-29 986
TaskExecutor 向ResourceManager的注册、心跳、资源汇报流程
Flink任务提交问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
02-24 1741
全网最全大数据面试提升手册！flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题：2. 提交flink 批处理任务时遇到的问题3. flink定时任务，mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉1. 提交flink自带任务WordC...
Flink1.15源码解析--启动TaskManager
chbxw
11-17 1209
flink1.15源码解析--启动taskManager
flink源码分析.pdf
09-17
flink源码解析文档分析，一起学习
Flink源码解析.zip
06-04
5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— ...
flink 1.14.4 源码下载
04-03
flink 1.14.4 源码下载
flink 1.7源码
04-10
flink源码下载过慢，提供1.7版本的源码。仅供参考～～～～～
flink 使用问题记录
岁月静好，做自己。
02-23 2462
1. 提交flink任务： Process finished with exit code 130 org.apache.flink.runtime.rest.NotFoundException: Job 6fe06e87852fa7a12e2276e2876c067a not found at org.apache.flink.runtime.rest.handler.job.AbstractExecutionGraphHandler.lambda$handleRequest$1(AbstractE
Apache Flink源码分析---TaskManager启动
wjandy0211的博客
09-30 464
Flink启动主要是启动JobManager进程和TaskManager进程，本章我们总结一下TaskManager的启动流程： TaskManager启动流程： TaskMananger的启动类是：org.apache.flink.runtime.taskexecutor.TaskManagerRunner 配置TaskManager启动: TaskManager入口： public static void main(String[] args) throws Exception {
flink集群搭建TaskManagerRunner启动失败
qq_44540985的博客
11-26 2250
flink集群搭建TaskManagerRunner启动失败
Flink 1.9源码学习03 ---- TaskManager启动源码
qq_31866793的博客
10-10 255
通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner --->>> 我们先看它的main方法： 调用了runTaskManager方法，启动task manager： 启动了taskManager start其实是将taskManager...
flink taskmanager参数优化
wppwpp1的专栏
04-08 2779
taskmanager.network.memory.exclusive-buffers-request-timeout-ms=600000; taskmanager.network.memory.fraction= 0.4; taskmanager.memory.managed.fraction=0.1; taskmanager.network.memory.max=1024mb; taskmanager.network.memory.min=512mb; 如果报oom相关参数调优 ...
Flink 1.13 源码解析——TaskManager启动流程概览
EdwardWang_的博客
08-29 1093
Flink 1.13 源码解析 TaskExecutor启动概述
Flink：standalone模式下start-cluster.sh之后taskmanager没起来
Jodness' Blogs
08-15 7322
我的版本：Flink1.7.2、jdk1.8.0_201 下午照着Flink官网部署了一下standalone模式，通过start-cluster.sh命令启动Flink集群后发现只有StandaloneSessionClusterEntrypoint进程起来了，并没有TaskManagerRunner，并且8081网页中taskmanager个数为0 后来查看了taskmanager节点lo...
flink taskmanager
06-06
Flink TaskManager是Flink分布式计算框架的核心组件之一，它是Flink集群中运行Flink任务的工作进程。每个TaskManager都可以运行多个任务，每个任务都是一个或多个并行的Flink算子。TaskManager负责将任务分配到适当...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值