Flink UI: Flink 1.10 如何查看 数据源 的背压（反压）情况（消费kafka）

最新推荐文章于 2024-08-19 14:06:37 发布
最新推荐文章于 2024-08-19 14:06:37 发布
阅读量3.1k 收藏 6
点赞数 1
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105415283
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何通过Flink UI监控数据源，特别是消费Kafka时的背压（反压）情况。当观察到特定界面显示背压升高，意味着Flink程序已接近其最大消费速度。Flink利用Task的stack trace采样来检测反压，采样过程和结果会在UI的Backpressure页面展示，帮助进行性能测试和优化。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2. 概述

想对一个flink程序进行性能测试，因此你需要知道flink消费程序的上限，因此，怎么知道你flink程序有没有达到上限呢？在界面上就能看到，比如我kafka写入的速度是 每秒4万条数据写入到kafka。

在界面上找到你的数据源，然后点击，这个界面需要等待一会才有数据

在这里插入图片描述
如果出现上述情况，那么说明已经达到flink消费的最大速度了。背压很高

背压很低的情况
在这里插入图片描述

在 Storm/JStorm 中，只要监控到队列满了，就可以记录下拓扑进入反压了。但是 Flink 的反压太过于天然了，导致我们无法简单地通过监控队列来监控反压状态。Flink 在这里使用了一个 trick 来实现

了解本专栏 订阅专栏 解锁全文
Flink UI: 如何监控数据源的背压情况
AlianBlank的博客
08-16 304
在 Flink 中，我们可以通过 Flink UI 来监控数据源的背压情况，及时发现并解决潜在的问题。Flink 使用了自适应的背压机制，主要包括两个阶段：上游任务的背压感知和下游任务的背压反压。上游任务的背压感知：当下游任务无法及时处理上游任务发送的数据时，上游任务会触发背压感知机制。下游任务的背压反压：数据源在接收到背压信号后，会根据具体的处理策略调整数据生成的速率，以便与下游任务的处理进度保持平衡。通过 Flink UI 监控任务的背压情况，可以及时发现并解决潜在的背压问题，确保系统的稳定性和性能。
flink datastream 消费kafka 并开启checkpoint
yy的博客
12-21 495
flink kafka
Java版Flink使用指南——背压
方亮的专栏
07-11 880
通过这个无界数据流，我们可以持续给系统提供数据，进而方便我们测试。这块代码见《Java版Flink使用指南——自定义无界流生成器》。
Flink消费Kafka数据积压排查解决
最新发布
Sunny的专栏
08-19 1164
有个Flink任务每天不定时会出现数据积压，无论是白天还是数据量很少的夜里，且积压的数据量会越来越多，得不到缓解，只能每日在积压告警后重启，重启之后消费能力一点毛病没有，积压迅速缓解，然而问题会周而复始的出现，无论是周末还是节假日忍不了。
flink对接kafka
weixin_43690478的博客
06-21 1393
1.flink集群部署 1.1下载地址 https://archive.apache.org/dist/flink/ 1.2解压 tar -zxvf flink-1.6.0-bin-hadoop26-scala_2.11.gz -C /home 1.3配置环境变量（hadoop01 hadoop02 hadoop03） vim /etc/profile export FLINK_HOME=/home/flink-1.6.0 export PATH=:PATH:PATH:PATH:FLINK_HOME/bin
springboot 文件上传 设置文件大小配置
诚的博客
10-14 704
需要设置以下两个参数,不同的版本对应不同的键值,需对应版本 Spring Boot 1.3.x或者之前 multipart.maxFileSize=100Mb multipart.maxRequestSize=1000Mb Spring Boot 1.4.x spring.http.multipart.maxFileSize=100Mb spring.http.multipart.maxRequestSize=1000Mb 很多人设置了multipart.maxFileSize但是不起作用，是因为1.
记一次 Flink 反压问题排查过程
http://www.54tianzhisheng.cn/
08-10 1280
问题出现根据subtask的watermark发现延迟了10几分钟，然后查看是否有异常或者BackPressure的情况最终发现，source->watermarks->fil...
如何读取，写入和修改 Flink 应用程序的状态
大数据基础入门教程
03-11 1907
如何读取，写入和修改 Flink 应用程序的状态 本文主要介绍 Flink 的状态管理，非常实用。 过去无论是在生产中使用，还是调研 Apache Flink，总会遇到一个问题：如何访问和更新 Flink 保存点（savepoint）中保存的 state？Apache Flink 1.9 引入了状态处理器（State Processor）API，它是基于 DataSet API 的强大扩展，允...
flink正常消费kafka数据，flink没有做checkpoint，kafka位点没有提交
qq_43118086的博客
07-05 1353
在消费kafka的数据时，source的并发度不能超过kafka的partition数，否则部分source无数据消费，导致finished，可以小于partition，但是部分subtask就会消费多个partition的数据，导致吞吐达不到最大，理想状态是source并发度等于partition数。（1）flink任务消费kafka数据，其中数据正常消费，kafka显示消息堆积，位点没有提交，并且flink任务没有做checkpoint。flink消费kafka数据，多并发，实现双流join。
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性
2301_77033583的博客
04-29 1621
检查点保存的启动，标志着我们进入了两阶段提交协议的“预提交”阶段。但此时现在还没有具体提交的数据。jobManager 通知各个 TaskManager 启动检查点保存，Source 任务会将检查点分界线（barrier）注入数据流。这个 barrier 可以将数据流中的数据，分为进入当前检查点的集合和进入下一个检查点的集合。
Flink SQL 任务消费Kafka写hudi的性能调优总结
weixin_42450619的博客
12-06 1412
以上修改后，我们还把checkpoint的间隔时长从10分钟调整为5分钟了，因为现在每分钟从Kafka中消费的数据更多了，如果继续是10分钟的checkpoint间隔时长，则每次做checkpoint时需要写入到HDFS的数据量也会更大，做checkpoint花费的时间也会更久，任务背压的时间也就更长，任务反而不稳定。为了进一步验证我们的想法，我们创建了一个测试任务，消费我们的Kafka，消费的数据直接写入到blackhole连接器中，这样就可以测出Kafka的读取性能而不受其他算子或者网络的影响。
有关flink数据消费速度的问题
m0_57320261的博客
10-12 5013
1、反压产生的场景反压经常出现在促销、热门活动等场景。短时间内流量陡增造成或者。Flink会因为数据堆积和处理速度变慢超时，而checkpoint是Flink保证数据一致性的关键所在，最终会。
Flink 如何定位反压节点？
学一次的博客
08-30 2015
并且总结上游 Task outPoolUsage 与 floatingBuffersUsage 、 exclusiveBuffersUsage 的关系，进一步的分析一个 Subtask 和其上游 Subtask 的反压情况。注意：反压有时是短暂的且影响不大，比如来自某个 channel 的短暂网络延迟或者 TaskManager 的正常 GC，这种情况下可以不用处理。② 如果一个 Subtask 的 outPoolUsage 是高，通常是被下游 Task 所影响，所以可以排查它本身是反压根源的可能性。
Flink反压如何排查
百看不如一RUN
02-09 2011
Flink反压如何排查，是我们在进行flink开发以及监控的流程中必不可少的一项技能，同时也是很多大厂面试需要问题的知识点。
Flink背压原理以及解决优化
诸葛子房的博客
10-22 6528
由于进行双11压测，遇到了Flink的背压问题。 1.背压的监控 如果看到任务的背压警告（如 High 级别），这意味着生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告，这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。 许多情况都会导致背压。例如，G...
Flink的背压问题产生原因和解决方法
m0_61607827的博客
03-19 4519
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkpoint生成超时, 失败: checkpoint超时 2) 查看jobmanager日志,定位问题: jobmanager日志 3) 找大神帮忙定位问题, 原来是出现了背压的问题, 缓冲区的数据处理不过来，barrier流动慢，导致checkpoint生成时间长, 出现超时的现象. (chec...
数据不撒谎，Flink-Kafka性能压测全记录！
微信搜：import_bigdata，大数据领域硬核原创作者
08-23 5869
本文作者来自本号的粉丝：林夕_Yume，作者微信：wxid_nvd5wwng4v2i22欢迎大家关注他的简书：https://www.jianshu.com/u/3fa2...
Flink系列教程：使用Java实现DataStream，并通过Web UI页面监控任务状态
2301_79366435的博客
08-13 314
通过以上步骤，我们成功地使用Java实现了一个简单的DataStream任务，并通过Flink的Web UI页面监控了任务的运行状态。在实际应用中，我们可以根据业务需求编写更加复杂和高效的DataStream任务，并通过Flink的dashboard来全面了解任务的执行情况。在Java项目中，我们需要导入Flink的依赖，以便使用DataStream的API和连接到Flink的Web UI。保存并编译上述代码后，我们可以在命令行中运行该Java类，并在Flink的Web UI页面上查看任务的执行状态。
flink的背压问题产生原因和解决方法
hellojoy的博客
01-12 2190
https://www.jianshu.com/p/74c031b1ec29 最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkpoint生成超时, 失败: checkpoint超时 2) 查看jobmanager日志,定位问题: jobmanager日志 3) 找大神帮忙定位问题, 原来是出现了背压的问题, 缓冲区的数据处理不过来，bar...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值