Flink02--任务调度原理

最新推荐文章于 2023-01-05 18:17:47 发布
最新推荐文章于 2023-01-05 18:17:47 发布
阅读量232 收藏 1
点赞数 2
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIANGFANGWEI/article/details/111355059
版权
本文介绍了Flink任务调度的过程，包括Job的提交、并行计算的实现、任务执行图的生成、并行任务所需的slot数量以及子任务与slot的分配。并行度决定了算子的并行子任务数量，相同并行度且无需重新分区的算子会被合并，以提高处理效率。slot作为内存资源单位，可以被多个子任务共享，减少网络传输，优化处理速度。
摘要由CSDN通过智能技术生成

文章目录

1.Job的提交过程

在这里插入图片描述

2.怎么实现并行计算？
  • 并行度:某个算子被切分为多少个算子子任务为算子的并行度。一般情况下,一个stream的并行度,可以认为是其中所有算子中最大的并行度。

在这里插入图片描述

  • 在代码中可以自定义算子的并行度 ,这样数据可以分配到三个并行的flatMap的任务中，同时做计算。
    var resultDatastream: DataStream[(String, Int)] = inputDataStream
最低0.47元/天 解锁文章
欧阳喇嘛
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-1.7.2-bin-scala_2.11.tgz
07-07
1. JobManager：负责任务调度和资源管理，协调TaskManager并处理作业提交。 2. TaskManager：执行实际的任务，每个TaskManager包含多个并行运行的任务槽位。 3. DataStream API 和 DataSet API：用于构建流处理和...
Flink原理——任务调度原理
静远小和尚的博客
08-06 2683
原文链接：https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364 本文主要从以下几个方面介绍Flink的任务调度原理 一、Flink运行时的组件 二、TaskManger与Slots 三、程序与数据流 四、Flink的执行图 五、Flink程序执行的并行度 六、Flink程序任务链 一、Flink运行时的组件 Flink的运行组件 Flink 运行时架构主要包括四个不同的组件，它们会在运
Flink任务实时获取并更新规则
woliuqiangdong的博客
10-31 1395
背景 Flink通常被用来处理流式数据，有着众多的应用场景，比方说实时的ETL、检测报警等业务场景。这些场景通常会涉及到规则的更新，比如对解析规则和报警规则进行更改后，流任务应能够实时感知到，并用新的规则继续检测，避免因为规则更改而重启任务造成的开销。一般来说流式任务的重启是比较重的。 方案选择 接下来分别介绍下两种可行的方案与选型 1.广播变量与广播流 广播变量通常被运用到以下场景中：一个流中的一些数据需要被广播到所有的下游任务，被下游任务缓存在本地并用于处理另一个流上的所有传入数据。例如，一个
Flink-任务调度原理
qq_38304392的博客
06-01 656
任务调度图示 客户端不是运行时和程序执行的一部分，但它用于准备并发送dataflow(JobGraph)给Master(JobManager)，然后，客户端断开连接或者维持连接以等待接收计算结果。当Flink集群启动后，首先会启动一个JobManger和一个或多个的TaskManager。由Client提交任务给JobManager，JobManager再调度任务到各个TaskManage...
flink任务提交流程和调度原理
L13763338360的博客
06-02 1868
flink任务提交流程 1. Client向HDFS上传Flink的Jar包和配置。 2. Client向Yarn ResourceManager提交任务。 3. ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobManager。 4. ApplicationMaster向ResourceManager申请资源启动Ta.
flink学习笔记4-flink架构，任务、子任务划分
zhaocuit的博客
06-06 2577
flink架构 Job Managers（master）：作业管理器，负责任务安排、协调检查点、协调故障恢复等 Task Managers（worker）：任务管理器，接收master的任务调度，并在本地执行相关任务 在worker节点上，会启动一个TaskManagersRunner的进程，来接收master的任务调度 一个worker包含至少一个任务槽，每个任务槽表示worker内存资源的固定子集。 例如，具有三个槽的worker会将其托管内存的1/3专用于每个槽。分配资源意味着子任务不会与其他作业
flink-1.3.3-src.tgz
07-07
3. **flink-runtime**: 包含 Flink 运行时系统的核心组件，如任务调度、数据分发、容错机制等。 4. **flink-streaming-java**: 流处理 API 的 Java 实现，支持连续数据流的处理。 5. **flink-clients**: 提供了...
flink-1.2.0-src.tgz
07-07
4. `flink-runtime`：运行时组件，负责任务调度、故障恢复、分布式通信等。 5. `flink-clients`：客户端工具，用于提交任务到集群或本地运行。 6. `flink-connectors`：各种连接器，用于数据源和数据接收器的接入...
flink任务调度器
06-20
Flink任务调度器是Apache Flink这一开源流处理框架的核心组件之一，它的主要职责是高效、灵活地管理和执行Flink程序中的数据处理任务。在理解Flink任务调度器之前，我们先简要介绍下Flink的基本概念。 Apache Flink...
flink-1.8.0-src.tgz
06-16
JobManager 负责任务调度、状态管理以及故障恢复，而 TaskManager 负责执行具体的计算任务。它们通过网络通信进行交互，形成分布式数据流处理系统。 3. **Flink的数据流模型** Flink 的数据流模型基于“流”的概念...
Flink 之 Dataflow、Task、subTask、Operator Chains、Slot 介绍
扛麻袋的少年的博客
02-10 5239
Flink学习笔记(十二)：1.概念 Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就...
Flink面试题
XGkerwin1的博客
05-30 1685
文章目录1、spark streaming 和 flink 的区别2、Flink 的容错机制（checkpoint）3、Flink 中的 Time 有哪几种4、对于迟到数据是怎么处理的5、Flink 的运行必须依赖 Hadoop 组件吗6、Flink 资源管理中 Task Slot 的概念7、Flink 的重启策略了解吗8、 Flink 是如何保证 Exactly-once 语义的9、Flink 是如何处理反压的10、Flink 中的状态存储11、Flink 是如何支持批流一体的12、Flink 的内存管理
Flink理论：并行度、槽位分配、任务与子任务
weixin_43466909的博客
04-01 1161
本文图片来源网络，侵删 并行度（ Parallelism） 一个特定算子的子任务（ subtask）的个数被称之为其并行度（ parallelism）。 一般情况下，一个 stream的并行度，可以认为就是其所有算子中最大的并行度。 TaskManager 和 Slots Flink 中每一个TaskManager都是一个JVM进程，它可能会在独立的线程上执行一个或多个子任务 为了控制一个TaskManager能接收多少个 task， TaskManager...
Flink执行过程
qq_42456324的博客
06-07 3812
Flink执行流程
Flink 任务（Tasks）和任务槽（Task Slots）★★★★★
weixin_45417821的博客
04-12 7313
文章目录任务槽（Task Slots）任务槽数量的设置任务对任务槽的共享任务槽和并行度的关系 任务槽（Task Slots） 之前已经提到过，Flink 中每一个 worker(也就是 TaskManager)都是一个 JVM 进程，它可以启动多个独立的线程，来并行执行多个子任务（subtask）。 TaskManager 的计算资源是有限的，并不是所有任务都可以放在一个TaskManager上并行执行。并行的任务越多，每个线程的资源就会越少。为了控制并发量，我们需要在 TaskManager 上对每个任务
Flink基础系列9-Flink运行架构
只是甲的博客
10-18 1万+
文章目录一.Flink运行的四大组件1,1 作业管理器（JobManager）1.2 任务管理器（TaskManager）1.3 资源管理器（ResourceManager）1.4 分发器（Dispatcher）二.任务提交流程2.1 非yarn模式的任务提交流程2.2 任务提交流程（YARN）三. 任务调度原理四. TaskManger与Slots与parallelism五. 程序与数据流六. 执行图（ExecutionGraph）七. 数据传输形式参考: 一.Flink运行的四大组件 如下图所示，Fli
【Flink---04】Flink运行时架构 『 系统架构 | 作业提交流程 | 数据流图 vs 作业图 vs 执行图 vs 物理图 | 并行度 | 任务槽| 算子任务 | 算子子任务』
最新发布
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
01-05 717
1. 系统架构 1.1 概述 1.2 JobManager 1.3 TaskManager 2. 作业提交流程 2.1 抽象流程 2.2 yarn集群下流程(动态分配TaskManager⭐) 2.2.1 会话模式 2.2.2 单作业模式 2.2.3 应用模式 2.3 Standalone集群下流程(预先固定TaskManager个数⭐) 3. 一些重要概念 3.1 算子 3.2 并行度（Parallelism） (1) 什么是并行度？ (2) 怎么设置算子的并行度？ (3) 关于并行度的优化：合并算子链
flink原理分析—作业和调度(Jobs and Scheduling)
zg_hover的专栏
02-10 2131
概述 本文档简要介绍Flink如何进行作业调度，及其如何表示和跟踪JobManager上的作业状态。 注意：本文flink官方的一篇文档的翻译，原文链接在这里。 调度(Scheduling) Flink中的执行资源通过任务槽(Task Slots)来定义。每个TaskManager都有一个或多个任务槽，每个槽都可以运行一个并行任务管道(pipeline of parallel tasks)。管道由...
Flink 基本工作原理
热门推荐
sxiaobei的博客
06-30 5万+
      Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskMa...
Flink深度解析：任务调度与执行流，故障恢复与 Exactly-Once语义
本文档适合想要深入了解Flink技术架构和执行原理的读者，特别是高级项目经理或对实时流处理有深入研究的开发者。通过阅读，读者可以掌握Flink在大数据处理中的关键组件和机制，以便更有效地管理和优化分布式数据流...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值