flink反压处理

最新推荐文章于 2024-06-12 09:11:14 发布
最新推荐文章于 2024-06-12 09:11:14 发布
阅读量633 收藏 10
点赞数 6
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010738184/article/details/134754986
版权

一. 反压现象：数据流图中有红色节点，节点中 busy 10-100%，并且右侧backPressure下面有详细提示信息

二.排查方法

1.看内存是否够用

三、处理方式

1. 提交任务命令中增加jobmanager和taskmanager的内存 （配置之后，程序能正常启动，不会再出现启动一会就停止）；

2. 增加线程数(并行度)

3.增大checkpoint 的时间间隔（因为是用的广播变量，48M,算是大状态，之前checkpoint间隔为1s， 就一直有反压的现象(调整并行度和内存都不起作用)，后来调整了checkpoint时间，反压现象消失。）

孩子加油孩子
关注
如何处理 Flink Job BackPressure （反压）问题？
http://www.54tianzhisheng.cn/
09-22 1302
反压（BackPressure）机制被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压问题。反压通常产生于这样的场景：短时间的负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或遇到大促、秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。 反压机制就是指系统能够自己检测到被阻塞的...
Flink优化03---反压处理
Johnson8702的博客
04-07 7030
一、概述 1.1 反压的理解 简单来说，数据在 flink 拓扑中多个节点自上而下流动，下游处理数据较慢，导致上游数据发送阻塞，最终导致数据源的获取也被阻塞。也就是说，下游处理数据的速度跟不上数据流入的速度，会导致数据流入阻塞，并反馈到上游，使上游数据的发送也产生阻塞。 通常情况下，大促销、秒杀活动导致流量激增，会导致反压的产生。 1.2 反压的危害 反压的出现，会影响到 checkpoint 时长和 state 大小，进而可能导致资源耗尽甚至系统奔溃。 1）影响 checkpoint 时长
Flink 1.13.0 反压监控的优化
JasonLee实时计算
05-12 3976
Flink 1.13.0 版本增加了很多新特征,具体可以参考前面一篇文章,在 Flink 1.13.0 版本之前,我们通常是通过 UI 上面的 BackPressure 或者 Metric...
Flink 原理与实现：如何处理反压问题
weixin_33725239的博客
11-24 2272
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。 目前主流的流处理系统 Storm/J...
SqlServer FlinkCDC同步到Paimon一直卡在Busy100%的问题处理: Failed to convert value xxx to type TINYINT
最新发布
hwh_scut的博客
06-12 428
SqlServer到Paimon数据湖同步异常处理，排查写入端一直处于Busy100%状态的问题
Flink 反压问题处理
qq_35667076的博客
03-30 746
*增加资源**：如果处理任务的资源不足，可以考虑增加任务的资源配置，如CPU核心数、内存大小等。**网络优化**：如果网络延迟是问题的原因，可以考虑优化网络配置，比如使用更快的网络设备，或者将数据处理任务迁移到离数据源更近的位置。**优化处理逻辑**：分析下游任务的处理逻辑，看是否有优化空间。**下游处理能力不足**：可能是由于下游任务的资源配置不足（如CPU、内存不足），或者是算法效率低下导致的。**上游发送速度过快**：如果上游数据源产生数据的速度超过了下游处理单元的处理能力，就会产生反压。
【监控｜性能调优】Flink 性能调优1之 反压
hiliang521的博客
10-15 1976
通过了解反压模型，反压的观察方法，可以定位到出现反压的算子，进而可以具体分析出现反压的原因，以便调优。flink版本1.12.5。
Flink的背压现象
day_ue的博客
06-29 417
通过构建A->B->C三个算子，为方便测试断开算子间的链接·降低其数据处理能力。
flink任务调度器
06-20
很牛逼的任务器，可以管理flink的任务
Apache Flink 在小米的稳定性优化和实践
Ververica的博客
09-15 748
小米大数据部高级软件工程师张蛟在 FFA 2021 的演讲。
flink反压现象模拟与分析
01-20
在Apache Flink中，反压（Back Pressure）是一种常见的性能问题，它发生在数据处理系统中，当下游处理速度无法跟上上游数据生产速度时，上游会逐渐积累未处理的数据，导致整个流水线的效率降低。本文将深入探讨Flink...
Flink如何处理反压问题
一个记录普通男孩在ＩＴ界学习思考感悟的地方
03-07 2751
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。 目前主流的流处理系统 Storm/JStorm/Spark Streaming/Flink 都已经提供了反压机制，不过其实现各不相同。 Storm 是通过监控 Bolt 中的接收队列负载情
Flink实战(19)：flink反压_什么是flink反压(2)
2401_84170337的博客
04-29 619
过了一段时间后由于上游的发送速率要大于下游的接受速率，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。是否有了动态反压，静态限速就没用了？
Flink反压
微信搜：import_bigdata，大数据领域硬核原创作者
03-19 643
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。 目前主流的流处理系统 Storm/JStorm/Spark Streaming/......
flink反压是如何处理的
05-13
Flink的反压机制是通过使用BackPressure算法来实现的。当一个任务的输入速率超过了它的处理速率时，就会出现反压的情况。在Flink中，每个任务都会定期向下游任务发送反压信号，以告诉它们减缓输入速率。如果下游任务...
Flink Idle Source
wuychn
10-18 3204
flink 的 watermark 前进是靠数据推动的，如果没有数据进来，watermark 就无法前进。需要特别注意的是，这个配置在某些情况下可能会导致数据丢失. 例如有一个 partition 由于某些原因一直没有读到数据，idle-timeout 时间之后，下游将不再等这个 source subtask 的 watermark，这样下游的 watermark 将会前进，如果这个 partition 后续正常读到了数据，可能会因为比 watermark 晚而丢弃。active 是正常运行状态。
Flink1.13版本新背压监控指标源码详解
u011250186的博客
05-21 505
Flink1.13版本新背压监控指标源码详解
Flink正常消费一段时间后，大量反压，看着像卡住了，但又没有报错。
T_Antry
08-04 1812
前面我也有提到，发现flink运行一段时间后，不再继续消费的问题。这个问题困扰了我非常久，一开始也很迷茫。又因为比较忙，所以一直没有时间能够去寻找答案，只是通过每天重启的方式去解决。经过分析，其实这个问题也很容易找到根源，有兴趣就和我一起看下叭
Flink企业级优化
大数据记录
11-03 2390
前言          最近花了一个星期的时间给大家整理了一份Flink优化从多方面下手。末尾有彩蛋。如果对大家有帮助动动发财的小手来个三连，感谢大家~ 1、资源配置调优          Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值