Flink 容错&内存管理&反压

最新推荐文章于 2024-06-21 11:28:21 发布

老蒙大数据

最新推荐文章于 2024-06-21 11:28:21 发布

阅读量195

点赞数

分类专栏：详解大数据面试核心知识

本文链接：https://blog.csdn.net/qq_39712666/article/details/108728235

版权

详解大数据面试核心知识专栏收录该内容

30 篇文章 17 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨Flink的容错机制，包括Checkpoint、State和Barriers；解释了Flink的内存管理，特别是Network Buffers和Memory Manager Pool；最后讨论了Flink的反压问题及其在1.5版本后的Credit反压机制。

摘要由CSDN通过智能技术生成

上一篇内容总结了 Flink 的运行架构和编程模型，这一篇我们要讨论的是 Flink 的设计，包括它是如何解决容错、内存管理、反压问题的，这些知识点是面试的常客，目的是考察大家对 Flink 理解的深度。

本篇面试内容划重点：容错、内存管理、反压。

容错机制

Flink 的容错机制主要是依靠 barrier + checkpoint 来产生分布式快照，分布式快照中保存了计算过程中 Operator/task 的中间状态信息（state）。这些非常轻量级的快照会频繁地异步生成，且对系统性能不会产生太大的影响。state 状态信息会持久化到磁盘。如果程序失败，Flink 会根据最新的 checkpoint 数据来重置 Operator，保证系统能够接着失败前的状态再正常运行。所以，我们要说清楚 Flink 的容错机制必须先搞懂 CheckPoint、Barriers、state 这几个概念。