Apache Flink源码分析---TaskManager 主要服务详解

最新推荐文章于 2024-10-04 03:40:27 发布
最新推荐文章于 2024-10-04 03:40:27 发布
阅读量251 收藏
点赞数
分类专栏： flink原理及源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjandy0211/article/details/109157530
版权
本文深入探讨Apache Flink中的TaskManager，它作为Instance管理同一物理节点上所有Flink job的任务执行，涉及任务启动销毁、内存管理、磁盘IO和网络传输等关键功能。
摘要由CSDN通过智能技术生成

TaskManager 在 Flink 中也被叫做⼀一个 Instance，统⼀一管理理该物理理节点上的所有Flink job 的 task 的运⾏行行，它的功能包括了了 task 的启动销毁、内存管理理、磁盘IO、⽹网络传输管理理等，本章节将介绍这些功能。

TaskManager主要服务：

MemoryManager

IOManager

NetworkEnvironment

 

wandy0211
关注
专栏目录
订阅专栏
Apache Flink源码分析---TaskManager启动
wjandy0211的博客
09-30 514
Flink启动主要是启动JobManager进程和TaskManager进程，本章我们总结一下TaskManager的启动流程： TaskManager启动流程： TaskMananger的启动类是：org.apache.flink.runtime.taskexecutor.TaskManagerRunner 配置TaskManager启动: TaskManager入口： public static void main(String[] args) throws Exception {
【Flink 基础】-- 如何设置 TaskManager、Solt和 Parallelism
欢迎来到我的博客，一起探索代码里的世界！
02-19 4740
一、概念理解 solt：把 slot 看做 cpu 的核一个slot一可以并行跑很多作业 并发度：一个算子有多少个运行实例 关系： slot数 = 最大并发度、一个slot一可以同时运行不同算子的一个实例 二、参数设置说明  计算 TaskManager 数量: 50/4 = 13 ， 13个TM一共可以提供13*4=52 个 slot。最大并发是50，只占了 50 slot，还剩下...
Flink的Job启动TaskManager端（源码分析）
黑马程序员广州中心的专栏
10-28 362
先来看一下，TaskManager端用来接收JobManager发送过来的TDD对象的RPC接口 在TaskExecutor.java中 这个方法用于接收了一个TaskDeploymentDescriptor对象用于启动任务（上一篇知道这里executionGraph的每一个并行度都会调用deploy方法生成一个TDD） 来看一下具体接收到以后做了什么 创建了一个Task并且将...
Flink源码分析-JobDispatcher
边逛边看边学习
03-30 394
（本文作者 擎创科技研发总监 a coder） 背景介绍 最近一直在阅读Flink基于Yarn的资源管理相关的代码，牵扯的流程比较长，主要包含以下几个环节: 客户端环节：命令参数解析，定位到作业入口，生成JobGraph，翻译成启动对应的Yarn集群描述符，开始提交到Yarn。 AppMaster环节：根据不同的作业模式(Session/Job)，选择不同的启动入口，开始启动集群，这个阶段需要构造的重要组件包含：Dispatcher，Resource Manager，Job Master。具体每个组
Flink技术源码解析（一）：Flink概述与源码研读准备
weixin_33828101的博客
06-06 1817
一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势，可参考https://blog.csdn.net/cm_chenmin/article/details/5307249...
Flink 源码解析
http://www.54tianzhisheng.cn/
06-08 1299
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalone session 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— ...
flink源码解析
yoohhwz的博客
02-08 3591
flink源码解析
flink-1.10.2-bin-scala_2.12.tgz
12-01
《Flink 1.10.2 源码编译与在CDH6.3.2上的应用详解》 Apache Flink是一个流行的开源大数据处理框架，它支持流处理和批处理，以其低延迟和高吞吐量而受到广泛关注。在本篇中，我们将深入探讨如何基于CDH6.3.2平台，...
Flink1.12 flink-conf.yaml配置
GavinKai
11-24 6554
1.配置及注释 1.1定位 flink-conf.yaml是flink的配置文件，优先级在代码和提交参数之后是通用配置 1.2注意点 flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格，否则配置不会生效。 1.3参数解析 #============================================================================== # 集群通用配置 #==============================
Flink源码解析-从API到JobGraph
woliuqiangdong的博客
11-01 213
首先，本文假定读者对流计算思想已经有基本的认识、对Flink的API已经熟练使用、对Flink的设计思想已经有初步了解，本文着重介绍从api到flinkjob的详细过程。 Streaming API 通常情况下，如果想要使用flink进行并行计算，开发者会把自己的业务逻辑抽象成流式计算的模型，使用flink提供的api定义Job来实现该模型，因此一个flinkjob的生命是从api开始的。我们从一个官网的word count的例子开始，稍做一些修改，代码如下： 如上便是一个flinkJob编写
flink源码分析
09-18
flink源码分析
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
flink源码分析.pdf
09-17
flink源码解析文档分析，一起学习
源码 解析_Flink 源码解析
weixin_36473855的博客
01-12 156
1、Flink 源码解析 —— 源码编译运行2、Flink 源码解析 —— 项目结构一览3、Flink 源码解析—— local 模式启动流程4、Flink 源码解析 —— standalone session 模式启动流程5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动6、Flink 源码解析 —— Stand...
Flink源码解读
yangwenxiaohaha的博客
01-01 408
Flink源码解读 org.apache.flink.client; LocalExecutor模式解读 A class for executing a {@link Plan} on a local embedded Flink runtime instance. 用于在本地嵌入的Flink运行时实例上执行{计划}的类 public class LocalExecutor extends P...
Flink内核源码解析
LaZY的博客
05-06 567
参考 提交流程 程序入口 yarn-per-job模式： 运行程序后启动的进程： Clifrontend（相当于client） Yarnjobclusterentrypoint（相当于JM） Taskexecutorrunner（相当于TM） 程序入口：Org. Apache. Flink. Client cli. Clifrontend ...
Apache Flink 1.10 TaskManager 内存管理优化
Tu_maimes
08-12 228
转载
Flink源码解析(从CliFrontend提交开始)-第一期
Airy的博客
04-27 3211
序言 经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。 首先我们正常情况下，在该模式下的提交flink任务的脚本入下： flink run -t yarn-per-job -c org.apache.flink.streaming.example.
Flink源码剖析
最新发布
weixin_37172178的博客
10-04 1332
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值