flink
文章平均质量分 88
按时吃早饭ABC
微信519292115 ||
邮箱taosiyuan163@163.com ||
欢迎技术交流
展开
-
Flink1.12源码解读—— 反压机制
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。在各种大数据实时计算系统中,反压机制的实现意味着这个系统能不能经受住大量数据的冲击,像主流的大数据引擎Spark,Storm等都有自己的一套反压实现机制,Flink也有自己的反压机制,当下游Operator消费速度低于上游Operator的生产数据时会触发反压停止数据流动。这章主要解析下,Flink它是如何‘’天然”实现反压的。在前.原创 2021-03-12 17:38:03 · 1013 阅读 · 1 评论 -
Flink1.12源码解读—— Netty通讯模式
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。在之前解析过的Flink物理执行图(一)和Checkpoint过程中我们能看到过程中涉及到了数据的存储和交互,并且在后面分析Task运行任务时也会涉及到频发的数据使用和交互,所以这章主要是解析下Flink自带的内存管理机制和基于Netty的通讯模式已便于加深对它的理解。Flink底层通讯中各组件的通讯使用的Akka(可参考https://原创 2021-03-11 17:57:05 · 1465 阅读 · 0 评论 -
Flink1.12源码解读——物理执行图(一)之TM实例构建过程
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。Flink分为四种执行图,本章主要解析物理执行图的生成计划前半部分本章及后续源码解读环境以生产为主:运行模式:OnYarn,HA模式:ZK,Mode:Streaming,关键逻辑解释我会备注到代码上(灰色字体)勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn,Akka,ZK等。建议有此基础上阅读会提高可阅读性和实现理原创 2021-03-04 19:02:51 · 945 阅读 · 2 评论 -
Flink1.12源码解读——Checkpoint详细执行过程
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。Flink分为四种执行图,本章主要解析Execution的生成计划本章及后续源码解读环境以生产为主:运行模式:OnYarn,HA模式:ZK,Mode:Streaming,关键逻辑解释我会备注到代码上(灰色字体)勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn,Akka,ZK等。建议有此基础上阅读会提高可阅读性和实现理原创 2021-03-03 14:41:13 · 1688 阅读 · 0 评论 -
Flink1.12源码解读——ExecutionGraph执行图构建过程
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。Flink分为四种执行图,本章主要解析Execution的生成计划本章及后续源码解读环境以生产为主:运行模式:OnYarn,HA模式:ZK,Mode:Streaming,关键逻辑解释我会备注到代码上(灰色字体)勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn,Akka,ZK等。建议有此基础上阅读会提高可阅读性和实现理原创 2021-03-01 14:29:53 · 1094 阅读 · 3 评论 -
Flink1.12源码解读——JobGraph执行图构建过程
Apache Flink作为国内最火的大数据计算引擎之一,自身支持高吞吐,低延迟,exactly-once语义,有状态流等特性,阅读源码有助加深对框架的理解和认知。Flink分为四种执行图,本章主要解析JobGraph的生成计划本章及后续源码解读环境以生产为主:运行模式:OnYarn,HA模式:ZK,Mode:Streaming,关键逻辑解释我会备注到代码上(灰色字体)勿忽视。Flink会生成JobGraph去优化StreamGraph,其中包括设置Checkpoint,Slot分组策略,内存占原创 2021-02-26 14:50:18 · 575 阅读 · 0 评论