十、Flink进阶--Runtime核心架构

最新推荐文章于 2024-08-18 22:16:18 发布
最新推荐文章于 2024-08-18 22:16:18 发布
阅读量1.4k 收藏 2
点赞数 2
分类专栏： Apache Flink 文章标签： Flink Runtime Apache Flink 作业执行流程 on yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq475781638/article/details/90544938
版权
本文详细介绍了Apache Flink的Runtime架构，包括Client、JobManager和TaskManager的角色，以及运行模式。重点讲解了Task Slot管理和作业调度，特别是如何在YARN上提交任务。此外，还探讨了错误恢复机制，包括Task和Master的Failover策略。
摘要由CSDN通过智能技术生成

1. Flink Runtime 概述

1.1 概述

在这里插入图片描述
Flink RunTime是介于底层部署与DataSteamApi或DataSetApi之间的一层，以JobGraph形式接收程序,将任务task提交到集群上执行，RunTime层可以适用不同底层部署模式。Flink Runtime总体架构如下如所示：
在这里插入图片描述
主要分为Client ,JobManager, TaskManager

  • Client ： client并不是运行程序的一部分，用户将任务提交到JobManager, 提交之后可以断开连接或者是继续连接接收任务执行的进度等信息。
  • JobManager: 负责任务的分配，checkpoint的协调，以及任务失败后的故障恢复。JobManager可以有多个，但只有一个会是主节点，其他为备节点。
  • TaskManager 负责任务的执行和数据流的缓冲和交换，至少有一个TaskManager存在

1.2 运行模式

JobManager和TaskManager可以通过多种方式启动，比如Stand-alone集群模式，容器docker，也可以是yarn, Mesos等资源调度框架。

2. 资源管理与作业调度

最低0.47元/天 解锁文章
灰二和杉菜
关注
专栏目录
Flink. Runtime核心架构
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-21 351
1. Flink Runtime 概述 1.1 概述 Flink RunTime是介于底层部署与DataSteamApi或DataSetApi之间的一层，以JobGraph形式接收程序,将任务task提交到集群上执行，RunTime层可以适用不同底层部署模式。 Flink Runtime总体架构如下如所示：[支持分布式Stream作业的执行、JobGraph到ExecutioGraph的映射转换、任务调度等,P11] 主要分为Client ,JobManager, TaskManager Clie
[Flink基础]---- Flink学习规划（进阶）
欢迎来到我的博客，一起探索代码里的世界！
05-17 812
当学习了之前的课程后，我们便有了Flink 的基础，接下来将进行实战，举例各个部分的实现代码。 1 Flink 基础 API 概念 1.1 Scala API 扩展 1.2 Java Lambda表达式 2 Streaming (DataStream API) 2.1 Event Time 2.2 State & Fault Tolerance 2.3 Operator...
flink-runtime架构
qq_36532358的博客
06-23 281
一、flink是什么？ 二、flink on yarn作业提交流程 1、未引入 Dispatcher 的架构 2、引入 Dispatcher 的架构 ResourceManger TaskManager TaskManger 和 ResourceManager 的交互 TaskManager 和 JobManager 的交互 JobManager SlotPool Dispatcher 三、Standalone 模式的架构总览 四、资源分配详解 1、请求新的 TaskManager 的 slot 分配流程
大数据——Flink原理
最新发布
庄小焱
08-18 1794
Apache Flink 是一个强大的开源框架和分布式处理引擎，专门用于对无界和有界数据流进行有状态计算。Flink 支持高吞吐量、低延迟的实时数据流处理，同时也能够高效地处理批处理任务。其核心特点包括事件时间处理、有状态操作、容错机制，以及能够在各种常见的集群环境中运行，如 Hadoop、Kubernetes 和自定义集群。Flink 还具有高度可扩展性，能够处理从小规模到大规模的数据集，同时保持较低的内存占用和高效的计算速度。Flink 常用于实时分析、数据管道、流式 ETL、机器学习等场景，广泛应用于
Flink Runtime 核心机制剖析
hhhhhhfq的博客
03-24 3018
Flink Runtime 整体架构 Flink Runtime 层的主要架构如下图所示，它展示了一个 Flink 集群的基本结构。整体来说，它采用了标准 master-slave 的结构，master负责管理整个集群中的资源和作业；TaskExecutor 则是 Slave，负责提供具体的资源并实际执行作业。 ​​​​​​Flink 集群的基本结构 Master部分包含三个组件：Dispatcher、ResourceManager 和 JobManager。 Dispatcher：负责接收用户提供的作业
运行时架构(Runtime Architecture)
WflytoC的博客
11-19 2189
运行时系统是Objective-C平台的关键元素，它实现了语言的动态特点和面向对象的能力。它的结构能让你开发代码时不用接触到运行时的内部，但是提供了一个公共的API，让你写代码直接激活运行时服务。下面，我们来探索下运行时系统的架构和设计以及它如何实现动态特点的。你将学习运行时的主要组件，关键的实现细节，然后研究下你的代码在编译和运行期间是如何与运行时进行交互的。运行时组件(Runtime Compo
Apache Flink 进阶（一）：Runtime 核心机制剖析
阿里云技术
09-16 262
1. 综述 本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。 2. Flink Runtime 整体架构 Flink 的整体架构如图 1 所示。F...
paimon实战 --核心原理和Flink应用进阶
阿华田的博客
05-15 647
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
Apache-Flink-Stateful-Computations-over-Data-Streams(中文名flink知识图谱).pdf
02-11
**Flink Runtime Architecture**：Flink运行时架构是Flink工作的核心，其中包含了Job Manager、Task Manager和客户端等概念。了解Flink的运行时架构对于深入学习Flink来说至关重要。链接提供的内容和教程可能涉及了...
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
本高级进阶培训课程将深入讲解Flink的核心原理、实战应用和性能优化策略。 首先，课程会探讨Flink的核心设计思想，包括Dataflow计算模型与MapReduce模型的比较，以及Flink如何采用Chandy-Lamport分布式容错方案来...
FlinkRunTime核心架构
07-05
FlinkRunTime核心架构
FlinkRunTime核心架构.pdf
07-04
flink Runtime核心架构，视频地址：https://www.bilibili.com/video/av52394455/
flink-runtime_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-runtime_2.11-1.13.2.jar； 赠送原API文档：flink-runtime_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-runtime_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-runtime_2.11-1.13.2.pom； 包含翻译后的API文档：flink-runtime_2.11-1.13.2-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-runtime_2.11:1.13.2； 标签：apache、flink、runtime、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
runtime结构图
vencentle
05-21 461
runtime基础结构图
Flink 运行时[Runtime] 整体架构
程序猿进阶
12-22 5164
在分布式系统中，消息的丢失、错乱不可避免，这些问题会在分布式系统的组件中引入不一致状态，如果没有定时消息，那么组件无法从这些不一致状态中恢复。作为分布式数据处理框架，Flink同时提供了支撑流计算和批计算的接口，同时在此基础之上抽象出不同的应用类型的组件库，如基于流处理的。然后，对于后续的任务，当它的前驱任务全部执行完成后，作业的执行过程中，除正常执行的流程外，还有可能由于环境等原因导致各种类型的错误。模式更适合运行执行时间较长的大作业，这些作业对稳定性要求较高，并且对申请资源的时间不敏感。
Flink之Runtime核心机制剖析
lixinkuan的博客
02-04 581
本文将首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程中 Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。 一、整体架构 1.1、Flink整体架构 Flink 是可以运行在多种不同的环境中的，例如，它可以通过单进程多线程的方式直接运行，从而提供调试的能力...
Flink面试通关手册
微信搜：import_bigdata，大数据领域硬核原创作者
12-04 732
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！概述2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink ...
flink runtime
hyy_blog
05-05 545
runtime是flink运行的状态，是flink的核心，在flink中扮演重要角色。 注：原理性的东西，对比记忆，JM,TM与hadoop的主从都是相识的，一般都是序列化，rpc，主从，资源申请，分配。 1.从源码看一下runtime有哪些东西 这是runtime的所有目录，runtime主要有client，JM，TM，RM以及dispather等 下面详细讲解一下r...
Flink进阶教程：从Runtime到实战解析
教程覆盖了Flink的各个方面，包括Runtime核心机制、时间属性解析、Checkpoint原理、Yarn和K8s上的部署、数据类型与序列化、作业执行解析、网络流控与反压、Metrics系统、Flink Connector开发、状态管理最佳实践、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值