Flink实战（九十一）：监控（八）网络流控及反压剖析

已于 2022-07-05 20:36:17 修改
阅读量440 收藏 2
点赞数
分类专栏： Flink系统性学习专栏 文章标签： 网络 flink 大数据
于 2021-01-23 15:09:03 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113050317
版权
本文深入探讨了Flink的网络流控和反压机制，包括TCP的流控原理，Flink在V1.5之前的TCP-based反压和之后的Credit-based反压策略。Flink的Credit-based机制通过模拟TCP的滑动窗口，实现更快速的反压响应，避免了Socket阻塞和多任务间的相互影响。
摘要由CSDN通过智能技术生成

本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下：

    • 网络流控的概念与背景

    • TCP的流控机制

    • Flink TCP-based 反压机制（before V1.5）

    • Flink Credit-based 反压机制 （since V1.5）

    • 总结与思考

网络流控的概念与背景

为什么需要网络流控

首先我们可以看下这张最精简的网络流控的图，Producer 的吞吐率是 2MB/s，Consumer 是 1MB/s，这个时候我们就会发现在网络通信的时候我们的 Producer 的速度是比 Consumer 要快的，有 1MB/s 的这样的速度差，假定我们两端都有一个 Buffer，Producer 端有一个发送用的 Send Buffer，Consumer 端有一个接收用的 Receive Buffer，在网络端的吞吐率是 2MB/s，过了

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
flink实战--反压机制与背压指标计算原理
阿华田的博客
03-12 3159
简介 流处理系统必须能优雅地处理反压（backpressure）问题，因为实时流处理必然会遇到产这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃，目前主流的流处理系统Storm/Spark Streaming/Flink 都已经提供了反压机制，不过其实现各不相同。spark的反压机制参考...
咱们从头到尾讲一次 Flink 网络流控和反压剖析
Ververica的博客
11-04 876
本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享，社区志愿者张友亮整理。主要内容如下：网络流控的概念与背景TCP 的流控机制Flink TCP-based 反压机制（before V1.5）Flink Credit-based 反压机制 （since V1.5）总结与思考网络流控的概念与背景1. ...
16.Flink之网络流控及反压剖析
ailiandeziwei的专栏
05-09 233
Apache Flink 进阶教程（七）：网络流控及反压剖析 2019年12月17日 作者 | 张俊 整理 | 张友亮（Apache Flink 社区志愿者） 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下： 网络流控的概念与背景 TCP的流控机制 ...
Apache Flink流处理(三)
Piemon&Anokata的博客
12-16 1578
上一章讨论了分布式流式处理的一些重要概念，如并行化、时间和状态。在本章中，我们将从高层次来对Flink的体系结构进行介绍，并描述Flink如何满足我们之前所讨论的流处理的各个需求方面。特别地，我们解释了Flink的处理架构和它的网络栈的设计。我们还将展示Flink如何处理流式应用程序中的时间和状态，并讨论了它的容错机制。本章提供了相关的基础信息，以便您可以成功地使用Apache Flink实现和操...
流量控制
姚明锋的博客
05-07 8609
应用场景 当DSF节点发布服务后，如果不限制访问流量，在实际生产中可能出现对某个服务或方法有过多的连接，消耗过多系统资源，影响服务正常功能。通过流量控制，可以保障服务的访问数，从而保证服务的正常运行。 说明： 超过了流控阈值的访问请求会被拒绝，并返回异常。 流控类型 DSF提供以下流控方式： 并发流控:用于控制接入服务的线程数，其中的阈值代表线程数量。 T...
FlinkX流控实现
wuhulala的休息室
05-24 2012
FlinkX流控实现 流量控制防止并发性能过高对源数据库造成影响。 在FlinkX中，流量控制是采用Byte为单位/s进行流量控制的。 配置参数实例： { “speed”: { "bytes": 0 } } 当 bytes > 0 时，才会开启流量控制。 整个计算的速率是根据整个系统中的指标，按照每秒的窗口，实时计算出限流的速率的。通过对读取记录的限流，但是没有背压。 限流原理 实现逻辑 首先我们看一下读取器的初始化过程， InputFormat初始化 publi
Flink实战(19)：flink反压_什么是flink反压
最新发布
2401_84170391的博客
04-29 347
过了一段时间后由于上游的发送速率要大于下游的接受速率，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。是否有了动态反压，静态限速就没用了？
Flink实战(19)：flink反压_什么是flink反压(2)
2401_84170337的博客
04-29 634
过了一段时间后由于上游的发送速率要大于下游的接受速率，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。是否有了动态反压，静态限速就没用了？
Flink监控与优化实战：指标、性能与自定义监控
首先，课程的目标是使学员掌握Flink Metrics这一关键工具，它是一个强大的内部指标收集机制，用于实时监控作业和集群状态，特别是在处理大量任务或多个作业时，Metrics能够提供关键性能指标，确保系统的稳定性和效率...
C# 高并发高性能socket源代码：TCP/UDP客户端和服务器端，全面掌握socket流控制，在物联网、MES系统和游戏服务器应用中的大型项目中的重要作用
cbZZYzPsrUoN的博客
04-29 463
总结起来，本文围绕C#语言，介绍了一套高并发高性能的socket源代码，包括tcp客户端和服务器端，udp客户端和服务器端，以及socket流控制的实现。在这些领域中，网络通信是不可或缺的关键技术，而socket编程则是实现高效通信的核心。本文将围绕C#语言，结合具体应用场景，介绍一套高并发高性能的socket源代码，其中包括tcp客户端和服务器端，udp客户端和服务器端，同时还包括了socket流控制的实现。希望通过本文的介绍，读者能够了解到该套源代码的主要功能和特点，并在适当的场景中进行应用和学习。
TCP流量控制
zhaoyangjian724的专栏
02-26 212
node1:/root/test#cat t2.py # coding = utf-8 # -*- coding:utf-8 -*- import socket ip_port = ('192.168.137.2',8080) BUFSIZE = 10 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#创建套接字 s.setsockopt(...
Apache Flink 进阶（七）：网络流控及反压剖析 (转发)
jiangfullll的专栏
01-16 377
https://www.infoq.cn/article/g8DbwKBoxSk4JdBXA7fX
Flow Control in TCP（tcp的流量控制实现)
u012566181的专栏
09-08 3132
Flow Control in TCP Send and Receive buffers When a user application sends data to another user application, the data is first stored in a send buffer inside Operating System kernel
一文弄懂Flink网络流控及反压
mn_kw的博客
03-22 1087
网络流控是为了在上下游速度不匹配的情况下，防止下游出现过载Flink 1.5 之前是基于 TCP 流控 + bounded buffer 实现反压Flink 1.5 之后实现了自己托管的 credit – based 流控机制，在应用层模拟 TCP 的流控机制。
TCP的流量控制和拥塞控制 （小结）
ZP1015
09-07 1770
1、TCP的流量控制 1. 利用滑动窗口实现流量控制 如果发送方把数据发送得过快，接收方可能会来不及接收，这就会造成数据的丢失。所谓流量控制就是让发送方的发送速率不要太快，要让接收方来得及接收。 利用滑动窗口机制可以很方便地在TCP连接上实现对发送方的流量控制。 2、TCP的拥塞控制 1. 拥塞：即对资源的需求超过了可用的资源。若网络中许多资源同时供应不足，网络的性能就要明显变坏，整个网络的吞吐量随之负荷的增大而下降。 拥塞控制：防止过多的数据注入到网络中，这样可以使网络中的路
javaEE 初阶 — 传输层 TCP 协议 中的流量控制与拥塞控制
超烦豆先森
02-15 856
流量控制、拥塞控制
一文搞懂 Flink 网络流控与反压机制
bigdatakenan的博客
05-28 601
Operator间的数据传递 本地线程数据传递 远程线程数据传递 同一线程的Operator数据传递 Buffer读写 Buffer读取 Buffer写入 内存管理 MemorySegment和Buffer MemorySegment和Buffer的读写 当我们编写一个Flink任务时，抽象来说，是在描绘一个有向图。图中的边相当于由一系列数据记录组成的数据流，图中的顶点相当于我们对数据流的处理。 接下来的内容将在自顶向下地介绍有向图中的数据流是怎么在顶点间传递的。..
网络 -- TCP流量控制、拥塞控制
从零开始的异世界JAVA学习
04-14 889
流量控制:点对点关系到发送方与接收方的通信, 主要是接收方能力较差时引起问题. 当发送速度 >接收的速度, 接收方就丢包. 丢包之后,发送方就会重传,而重传后的数据包又被丢弃. 拥塞控制:全局关系到整个网络; 主要是发送与接收端 之间的中间节点问题(路由器,交换机,集线器这些的问题); 网络拥堵,发送方无法收到ACK确认,就重传,而重传之后会使得网络再次拥堵. 发送/接收缓存区:位于Socket Library 层 这里应用程序与发送/接收的缓冲区交互
计算机网络学习笔记二、 可靠传输机制与流量控制
菜到不敢run
04-02 478
计网面试知识点一、 流量控制与可靠传输机制 1. 背景   网络中进行数据传输时，如果发送方发送速率过快，超过了接收方的接收速度，会发生丢包等网络错误，因此需要对发送方发送速率加以控制，使得接收方能够及时接收数据，这种做法称为流量控制。流量控制是保证TCP可靠性的一个方面。   数据链路层进行流量控制的手段简单来说就是，接收方收不下，那就不回复确认（ACK）。   滑动窗口机制是进行流量控制的一种技术手段。 2. 滑动窗口协议   滑动窗口协议指的是一类协议，指采用滑动窗口机制设计的一些协议包括：1位滑动窗
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值