Flink运⾏时原理深度分析

最新推荐文章于 2024-08-24 15:46:29 发布
最新推荐文章于 2024-08-24 15:46:29 发布
阅读量131 收藏
点赞数
分类专栏： 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47231659/article/details/119719447
版权
本文深入剖析Flink运行时架构，包括RPC角色、任务执行的task chaining、资源分配、逻辑与物理调度。探讨内存模型、序列化方案及网络传输中的反压策略。同时，详细阐述了Flink的高可用性机制，涵盖各种故障场景下的恢复策略。
摘要由CSDN通过智能技术生成

Flink运⾏时原理深度分析

一 Flink Runtime 整体架构

二 Flink系统架构

2.1 RPC

2.1.1RPC角⾊

2.1.2 源码方法

三 Flink任务执⾏

3.1 任务链（task chaining）

3.2 Task Slot 和资源

3.3 SlotSharingGroup 与 CoLocationGroup

3.4 执⾏图（DAG）

3.5 逻辑调度

四 Flink任务调度

4.1 作业状态

4.2 物理调度

五 Flink 内存管理机制

5.1内存模型

5.2 内存设置

5.3 内存管理

5.4 序列化⽅案

5.4.1 序列化数据类型

5.4.2 序列化器

六 Flink⽹络模型

6.1 数据传输

6.2 TM间数据传输

6.3 反压

6.3.1 反压策略

6.3.2 TM间反压

6.3.3 TM内数据反压

6.3.4 吞吐量VS延迟

七 Flink⾼可用

7.1 TaskManager 崩溃

7.2 ResourceManager崩溃

7.3 JobManager崩溃

7.4 JobManager 和 ResourceManager 同时崩溃

7.5 TaskManager 和 ResourceManager 同时崩溃

m0_夏黎
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
4.Nginx整合OpenResty+Lua （黑名单控制、内网访问限制、资源下载限速、日志分析、漏桶原理、令牌桶原理）
weixin_43620238的博客
08-05 1168
Nginx整合OpenResty+Lua （黑名单控制、内网访问限制、资源下载限速、日志分析、漏桶原理、令牌桶原理）
网易云音乐 DBA 谈 TiDB 选型：效率的选择
TiDB 社区干货传送门
12-08 163
原文来源： https://tidb.net/blog/ebc41efe ...
面经-hangzhou
m0_46338222的博客
07-08 6433
加油
Java知识点概览
qq_48403611的博客
08-03 3110
java后端开发常见面试题总结
Flink技术原理
05-10
Flink是一种开源的流处理框架，主要设计用于实时数据处理和分析。作为大数据领域的重要工具，Flink提供了低延迟、高吞吐量的数据处理能力，能够应对大规模数据流的挑战。本教程将从基础概念出发，逐步深入到Flink的...
Flink基本工作原理
02-24
Flink是新的stream计算引擎，用java实现。...主要工作原理如下图用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化提交到JobManager，最后由TaskManager运行task。JobClient是Flink程序和
Flink架构、原理与部署测试
01-27
总的来说，Flink是一个强大且灵活的处理框架，其统一的流批处理模型、高效的并行计算、强大的时间处理能力和高可用的容错机制，使其成为大数据实时分析和处理的首选工具。通过理解Flink的架构、原理和部署，开发者...
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink入门(五)--Flink算子
最新发布
zzy66666c的博客
08-24 697
DataStream→DataStream 使用用户定义的分区程序为每个数据元选择目标任务。
理解Flink算子链
SunnyRivers
08-20 242
对于flink初学者，如果我们观察WebUi中任务执行情况，可能会有一个疑惑，为什么节点和代码中的算子对不上？从WebUi上看起来像是一个节点，会把转换处理的很多个任务都连接在一起，合并成了一个“大任务”。这又是怎么回事呢？Flink中的算子链（Operator Chaining）是一种优化机制，它允许Flink将多个连续的算子合并成一个单一的任务执行单元。这种机制可以减少数据序列化/反序列化的开销，以及网络传输的延迟，从而提高整体的性能。
Flink常见数据源（source）使用教程（DataStream API）
SunnyRivers
08-20 232
一个 Flink 程序，其实就是对 DataStream 的各种转换。获取执行环境（execution environment）读取数据源（source）定义基于数据的转换操作（transformations）定义计算结果的输出位置（sink）触发程序执行（execute）本篇博客主要用DataStream API开发Flink常见的数据源开发。Flink想要处理数据，先得有数据，所以首要任务就是把数据读进来。
（九）基于 Flink DataStream API 应用案例
springk的专栏
08-21 300
在 11.11 购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以 2023.11.11 购物节大促为背景，结合 DataStream API，完成技术方案设计，并输出实现代码。
（十六）Flink 状态管理
springk的专栏
08-24 185
根据数据集是否按照 Key 划分，将状态分为 Keyed State 和 Operator State（Non-keyed State）两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面，结合实际案例，详细进行介绍。
（十五）Flink 内存管理机制
springk的专栏
08-24 86
在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于 JVM 运行，但是 JVM 的内存管理机制存在着诸多类似 OutOfMemoryError 的问题，主要是因为创建大量的实例，超过 JVM 的最大堆内存限制，没有被有效的回收。这在很大程度上影响了系统的稳定性，因此很多框架都实现了自己的内存管理。本章我们通过对 Flink 内存模型、JobManager 以及 TaskManager 内存配置的介绍，全方位了解 Flink 在内存方面是如何自主管理的
（十三）Flink SQL
springk的专栏
08-23 365
Flink 对 SQL 的支持基于实现了 SQL 标准的 Apache Calcite，包括数据定义语言、数据操纵语言以及查询语言。本章我们结合实际应用，来讲解如何使用 Flink SQL
Flink内存调优
HHoao的博客
08-24 771
基于 JVM 内存存在一些问题，并且在大数据场景下，无法在内存中存储海量数据，计算效率无法提高。Flink 社区采用自主内存管理设计，设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。
Apache Flink 执行过程中的四层图详解
SunnyRivers
08-20 178
逻辑数据流图是最接近用户程序的表示形式，它是用户定义的数据流程序的直观表示。在这一阶段，用户通过 Flink 提供的 API 定义数据源（Source）、转换（Transformations）和数据接收器（Sink）。作业图是由 Flink 的优化器从逻辑数据流图转换而来的。在这个阶段，Flink 对数据流图进行了初步的优化，并添加了关于每个操作符的元数据，例如并行度和分区策略。执行图是由 JobManager 从作业图转换而来的，它描述了实际的执行计划。
Dinky教程--Flink CDC pipline整库同步Doris
atbigapp的博客
08-19 1082
Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。 本教程一步一步的教你如何使用dinky运行CDC pipline任务实现整库同步Doris并自动建表功能。Starrocks同理
Flink深度解析：实时流处理原理与实战
Flink原理和实践.pptx是一份深入解析Apache Flink的文档，它涵盖了实时计算的关键概念和技术细节。Flink作为一个强大的分布式流处理框架，其核心优势包括低延迟处理、高吞吐量和精确的时间处理能力。以下是主要内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值