如何排查Flink生成环境中的反压问题

最新推荐文章于 2024-06-19 15:11:42 发布
最新推荐文章于 2024-06-19 15:11:42 发布
阅读量659 收藏 1
点赞数
分类专栏： Flink系统性学习专栏
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/112756701
版权
本文探讨了Flink中的反压问题，解释了反压如何影响流式计算任务，并对比了Storm和Spark Streaming的反压机制。通过Flink Web UI和Metrics监控反压状态，提供了解决反压问题的思路，包括关注数据倾斜、GC优化和代码审查。
摘要由CSDN通过智能技术生成

声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。

《2021年最新版大数据面试题全面开启更新》

 

    反压问题是流式计算系统中经常碰到的一个问题，如果你的任务出现反压节点，那么就意味着任务数据的消费速度小于数据的生成速度，需要对生成速度进行控制。通常情况下，反压经常出现在促销、热门活动等场景，他们有一个共同的特点：短时间内流量陡增造成数据的堆积或者消费速度变慢。

不同框架的反压对比

     目前主要的大数据实时处理系统都对反压问题进行了专门的处理，希望框架自身能检测到被阻塞的算子，然后降低数据生产者的发送速率。我们所熟悉的Storm、Spark Streaming、Flink的实现稍微有所不同。

Storm

     Storm从1.0版本以后引入了全新的反压机制，Storm会主动监控工作节点。当工作节点接受数据超过一定的水位值时，那么反压信息会被发送到Zookeeper上，然后Zookeeper通知所有的工作节点进入反压状态，最后数据的生成源头会降低数据的发送速度。

Spark Streaming

     Sp

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
【AI大数据人工智能原理与应用实践】Flink Batch SQL中Backpressured原理与应用
程序员光剑
06-28 281
随着大数据技术的发展,越来越多的公司开始使用Flink等流计算引擎来处理海量数据。而在Flink的Batch SQL任务中,经常会遇到Backpressured的问题,导致任务运行缓慢甚至失败。因此,深入理解Backpressured的原理,并能够在实践中加以应用,对于保证Flink Batch SQL任务的稳定性和效率至关重要。
Flink反压如何排查
百看不如一RUN
02-09 1935
Flink反压如何排查，是我们在进行flink开发以及监控的流程中必不可少的一项技能，同时也是很多大厂面试需要问题的知识点。
redis学习
Floatingshen的博客
12-09 459
第一章 关系型和非关系型 关系型： MySQL Oracle 非关系型： Redis MongoDB Elasticsearch 第二章 Redis重要特性 1.速度快：C语言编写，代码简洁，单线程架构 2.支持多种数据结构：字符串，哈希，列表，集合，有序集合 3.丰富的功能：天然计数器，键过期功能，消息队列 4.支持客户端语言多：PHP，Java，go，Python 5.支持数据持久化：所有在运行的数据都是放在内存中，支持多种数据持久化格式，RDB，AOF，混合持久化 6.自带多种高可用
Flink反压排查及解决方案
最新发布
weixin_46856219的博客
06-19 1494
利用 Flink Web UI 定位，通过查看subtask的反压监控，反压状态为HIGH红色的subtask即处于反压。​ 解决： ​ 方法一：直接聚合。​ 发现二：通过Flink Web UI查看任务的反压情况，如果只有个别Subtask呈现反压情况，有红有绿，可以推断出数据倾斜。​ 设置参数：开启MiniBatch，设置批量输出的间隔时间，设置每个批次最多缓存数据的条数（可以设置为两万条）。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因：数据倾斜。
记一次 Flink 反压问题排查过程
http://www.54tianzhisheng.cn/
08-10 1250
问题出现根据subtask的watermark发现延迟了10几分钟，然后查看是否有异常或者BackPressure的情况最终发现，source->watermarks->fil...
Flink反压的解决以及Flink SQL的优化
2302_76749443的博客
11-06 494
利用 Flink Web UI 定位，通过查看subtask的反压监控，反压状态为HIGH红色的subtask即处于反压。​ 解决： ​ 方法一：直接聚合。​ 发现二：通过Flink Web UI查看任务的反压情况，如果只有个别Subtask呈现反压情况，有红有绿，可以推断出数据倾斜。​ 设置参数：开启MiniBatch，设置批量输出的间隔时间，设置每个批次最多缓存数据的条数（可以设置为两万条）。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因：数据倾斜。
Flink正常消费一段时间后，大量反压，看着像卡住了，但又没有报错。
T_Antry
08-04 1812
前面我也有提到，发现flink运行一段时间后，不再继续消费的问题。这个问题困扰了我非常久，一开始也很迷茫。又因为比较忙，所以一直没有时间能够去寻找答案，只是通过每天重启的方式去解决。经过分析，其实这个问题也很容易找到根源，有兴趣就和我一起看下叭
Flink 常见问题排查与任务调优实践
GavinKai
12-11 3484
Flink 问题排查 - 作业部署失败 现象：作业无法正常提交与启动 可能成因 确认方法 解决措施 程序包依赖与集群依赖存在版本冲突 日志：NoSuchMethodError/ IncompatibleClassChangeError/ ClassCastException 1.程序包中Flink/Hadoop相关依赖设为provided2.使用...
二十四、Flink源码阅读--反压相关源码实现
大数据之路
06-12 863
本篇我们看下flink以反压为问题带入，查看数据处理相关的源码 源码分析 之前再Task启动的过程中，Task的run方法中是任务执行的相关逻辑代码,其中有一行 network.registerTask(this); 这行代码就是给这个Task注册网络相关的堆栈 public void registerTask(Task task) throws IOException { final R...
Flink
小道的博客
12-11 1877
Flink知识点
redis的主从同步
耿进
04-30 157
Redis主从复制 前提：有两台或两台以上安装Redis的服务器 1.db01插入测试命令 for i in {1..1000};do redis-cli set key_${i} v_${i} && echo "${i} is ok";done 2.配置主从复制 **方法一:**临时生效 redis-cli -h 10.0.0.52 slaveof 10.0.0.51 6379...
flink反压及解决思路和实操
02-07 3925
我这个是并行度是 4 ，所以会有 0、1、2、3 代表是哪个 subTask（task 下每个并行task），其中看到的比较多的是这两个，outPutUsage 代表发送端 Buffer 的使用率，inPutusage 代表的接收端 Buffer 的使用率。也可能是 TaskManager 的内存引起的 GC 问题，也会导致反压，我们一般使用 G1 回收机制，有可能是 TaskManager JVM 各区内存分配不合理导致频繁的 Full GC。，比如大促时流量激增，或者使用了数据炸开的函数。
轻松通关Flink第15讲：如何排查生产环境中的反压问题
sucaiwa的博客
03-27 549
这一课时我们主要讨论了反压问题，涉及不同框架对反压问题的处理方式、Flink 任务反压的定位和如何处理。我们可以通过多种方式监控 Flink 任务的运行状态来定位反压问题，避免在生产环境中出现严重事故。点击这里下载本课程源码。
flink优化专题-03-反压处理
q287573145的博客
04-03 3783
1、概述 Flink 网络流控及反压的介绍： Flink 中文社区 | 中文学习教程 1.1 反压的理解 ➢ 简单来说，Flink 拓扑中每个节点（Task）间的数据都以阻塞队列的方式传输，下游来 不及消费导致队列被占满后，上游的生产也会被阻塞，最终导致数据源的摄入被阻塞。 ➢ 反压（BackPressure）通常产生于这样的场景： 短时间的负载高峰导致系统接收数据 的速率远高于它处理数据的速率。 ➢ 许多日常问题都会导致反压。 垃圾回收停顿可能会导致流入的数据快速堆积 电商大促、秒
Flink优化03---反压处理
Johnson8702的博客
04-07 7028
一、概述 1.1 反压的理解 简单来说，数据在 flink 拓扑中多个节点自上而下流动，下游处理数据较慢，导致上游数据发送阻塞，最终导致数据源的获取也被阻塞。也就是说，下游处理数据的速度跟不上数据流入的速度，会导致数据流入阻塞，并反馈到上游，使上游数据的发送也产生阻塞。 通常情况下，大促销、秒杀活动导致流量激增，会导致反压的产生。 1.2 反压的危害 反压的出现，会影响到 checkpoint 时长和 state 大小，进而可能导致资源耗尽甚至系统奔溃。 1）影响 checkpoint 时长
如何分析及处理 Flink 反压？
Ververica的博客
11-18 2075
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上...
Flink 反压问题
yang灬仔
03-12 8582
一、反压有哪些危害？ 任务处理性能出现瓶颈：以消费 Kafka 为例，大概率会出现消费 Kafka Lag。 Checkpoint 时间长或者失败：因为某些反压会导致 barrier 需要花很长时间才能对齐，任务稳定性差。 整个任务完全卡住。比如在 TUMBLE 窗口算子的任务中，反压后可能会导致下游算子的 input pool 和上游算子的 output pool 满了，这时候如果下游窗口的 watermark 一直对不齐，窗口触发不了计算的话，下游算子就永远无法触发窗口计算了。
Flink 原理与实现：如何处理反压问题
weixin_33725239的博客
11-24 2272
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。 目前主流的流处理系统 Storm/J...
flink排查反压的问题
06-09
在Flink中，反压（Backpressure）是指当数据生产速度超过数据消费速度时，消费端不能及时处理全部数据，导致未处理的数据在系统中积压，从而影响系统的性能和稳定性。如果Flink应用程序中存在反压问题，可以通过以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值