Apache Flink进阶-网络流控及反压机制剖析

目录

1. 概述

1.1 流控的概念与背景

1.1.1 为什么需要网络流控

1.1.2 网络流控的实现方式--静态限速

1.1.3 网络流控的实现：动态反馈/自动反压

1.1.4 动态反压经典案例

 

2. Flink中的动态反压机制

2.1 Flink v1.5之前是基于TCP自身的流控机制来实现feedback

2.1.1 flink在做网络传输时的数据流向图

2.2.2 TCP 流控feedback机制原理分析

2.2.3 Flink运行job时的反压传播过程

2.2.4 TCP反压机制的弊端

2.2 Credit-based反压机制（flink v1.5之后版本）

3. 总结

4. 参考链接

---

1. 概述

本文是根据Apache Flink 系列直播整理而成，作为学习笔记和知识点总结，文中部分图片直接来自直播课程的截图。

1.1 流控的概念与背景

1.1.1 为什么需要网络流控

首先给出一个数据在网络中传输的示意图，以下图的生产者、消费者为例：

左侧的Producer以2MB/s的吞吐率生产数据，COnsumer的吞吐率是 1 MB/s，假定producer和consumer端都有一个Buffer。5s之后，consumer端的Receive Buffer就撑不住，爆满了，此刻将会有两种情况：

• Receive Buffer是有界的，后面到达的数据会被丢弃掉。
• Receive Buffer是无解的，receive buffer会持续扩张，最终导致consumer的内存耗尽。

因此，经过上述分析，网络流控是数据传输中非常重要的一点，生产