ws0owws0ow的博客

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。在各种大数据实时计算系统中，反压机制的实现意味着这个系统能不能经受住大量数据的冲击，像主流的大数据引擎Spark，Storm等都有自己的一套反压实现机制，Flink也有自己的反压机制，当下游Operator消费速度低于上游Operator的生产数据时会触发反压停止数据流动。这章主要解析下，Flink它是如何‘’天然”实现反压的。在前.

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。在之前解析过的Flink物理执行图（一）和Checkpoint过程中我们能看到过程中涉及到了数据的存储和交互，并且在后面分析Task运行任务时也会涉及到频发的数据使用和交互，所以这章主要是解析下Flink自带的内存管理机制和基于Netty的通讯模式已便于加深对它的理解。Flink底层通讯中各组件的通讯使用的Akka（可参考https://

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。Flink分为四种执行图，本章主要解析物理执行图的生成计划前半部分本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。Flink分为四种执行图，本章主要解析Execution的生成计划本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。Flink分为四种执行图，本章主要解析Execution的生成计划本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。Flink分为四种执行图，本章主要解析JobGraph的生成计划本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。Flink会生成JobGraph去优化StreamGraph,其中包括设置Checkpoint，Slot分组策略，内存占

摘自官网：pushing data over the Telnet or HTTP APIs, or use an existing tool with OpenTSDB support such as 'tcollector'.所有数据可以通过 telent，http apti，和自身支持的tcollecotr 收集到Telnet：

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。

这段时间因为用的hbase 自带的zk做的测试 ，现在想把zk换成真实zk集群 刚搭好顺便做个笔记zookeeper集群（注意：zk各个节点时间必须要一致）集群规划：三个节点1：首先操作把zookeeper-3.4.6.tar.gz上传到服务器的/usr/local2：解压tar -zxvf zookeeper-3.4.6.tar.gz3：重命名mv zo

微信号：519292115邮箱：taosiyuan163@163.com尊重原创，禁止转载！！Spark目前是大数据领域中最火的框架之一，可高效实现离线批处理，实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知Task作为Spark的最小执行单元在DAGScheduler划分好Stage之后会提交给TaskSch

本人此次的DAGScheduler 源码剖析将涉及最底层的数据结构，每个细节的实现原理，算法，优化细节，各个组件之间交互动作以及纠正网上的一些错误介绍等....保证国内最新最全最细的源码剖析！