Flink 消费Kafka的有趣现象：固定时间、固定数量的堆积

已于 2022-09-15 13:27:41 修改
阅读量1.9k 收藏 1
点赞数 2
分类专栏： Apache Flink 原理和实践 文章标签： kafka flink 分布式
于 2020-03-31 19:08:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuleidaren/article/details/106395563
版权
本文描述了一种有趣的观察：Kafka主题消息每隔3分钟堆积至10万条，随后被Flink作业快速消费清零。经过分析，发现此现象与Flink的Checkpoint设置有关，Checkpoint时间间隔为3分钟，并且作业配置为Exactly_Once语义，导致这种规律性的延迟。
摘要由CSDN通过智能技术生成

　　今天和同事遇到一个非常有趣的问题，在Kafka监控页面上可以看到该topic的消息会堆积到10万条左右，然后再很快的消费完毕归为0，然后又开始堆积到10万条左右，时间间隔都是3分钟。第一反应，反压？ 但是反压的也太整齐了吧。看了一眼代码，哈哈，CheckPoint的时间间隔是3分钟，而且是Exactly_Once的。

　　所以这3分钟的延迟是必须付出的代价了，算不上问题

wulei.cnvip
关注
专栏目录
订阅专栏
Flink CDC 与 Kafka 集成：Snapshot 还是 Changelog？Upsert Kafka 还是 Kafka？
Laurence的技术博客
02-05 1438
我们知道，尽管 Flink CDC 可以越过 Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如 Hudi 等）， 但从整体架构上考虑，维护一个 Kafka 集群作为数据接入的统一管道是非常必要的，这会带来很多收益。在 Flink CDC 之前，以 Debezium + Kafka Connect 为代表的技术组合都是将数据库的CDC数据先接入到 Kafka 中，然后再由后续的组件解析和处理。
flink 写kafka_flink消费kafka的offset与checkpoint
weixin_39845613的博客
12-03 3016
生产环境有个作业，逻辑很简单，读取kafka的数据，然后使用hive catalog，实时写入hbase，hive，redis。使用的flink版本为1.11.1。为了防止写入hive的文件数量过多，我设置了checkpoint为30分钟。env.enableCheckpointing(1000 * 60 * 30); // 1000 * 60 * 30 => 30 minutes达到的效果...
Flink 消费Kafka每日不定时积压（非重启不能解决）问题排查解决
qq_34864753的博客
07-25 4767
进来看看吧，说不定有收获
Flink消费Kafka数据积压排查解决
最新发布
Sunny的专栏
08-19 1058
有个Flink任务每天不定时会出现数据积压，无论是白天还是数据量很少的夜里，且积压的数据量会越来越多，得不到缓解，只能每日在积压告警后重启，重启之后消费能力一点毛病没有，积压迅速缓解，然而问题会周而复始的出现，无论是周末还是节假日忍不了。
Flink 数据积压问题
野狼e族 的博客
04-06 2802
目录 项目背景 问题描述 问题定位 如何定位到底是哪个算子处理能力跟不上？ 结论 问题解决 思路 解决 项目背景 将数据（kafka）以批量的方式，通过SCF接口写入TIDB中 过滤出指定的用户id，发到对应的规则检测kafka主题中 整体的数据流程图，如下图所示： 问题描述 运行一段时间后发现，消费开始积压，通过wstream的监控（也可以查看kafka的监控） 问题定位 如何定位到底是哪个算子处理能力跟不上？ 我们明明写了...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为stream： // Kafka参数 Properties propert
Flink消费Kafka数据1
08-03
Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
java8stream源码-flink-kafka-java:好的kafka-java
06-04
java8流源码大数据项目-Flink-Kafka-Java 使用 flink 和 kafka 等大数据工具对数据集执行操作。 小组成员 莫汉·克里希纳·阿拉瓦拉 示范技巧： 我将在windows机器上演示kafka的安装和配置。 先决条件： 卡夫卡 2.13...
flink消费kafka到greenplum
05-06
本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。 首先，Apache Flink是一个开源的流...
FlinkSQL每小时消费一次kafka数据——批写hive
平平无奇小码农~
08-26 506
待更新。。。
flink读取kafka
Baron_ND的博客
11-10 992
flink1.11.读取kafka数据 Watermark的核心本质可以理解成一个延迟触发机制。 在 Flink 的窗口处理过程中，如果确定全部数据到达，就可以对 Window 的所有数据做 窗口计算操作（如汇总、分组等），如果数据没有全部到达，则继续等待该窗口中的数据全 部到达才开始处理。这种情况下就需要用到水位线（WaterMarks）机制，它能够衡量数据处 理进度（表达数据到达的完整性），保证事件数据（全部）到达 Flink 系统，或者在乱序及 延迟到达时，也能够像预期一样计算出正确并且连续的结果。
Flink消费Kafka并统计报警
跟心爱的人一起浪迹天涯
07-25 847
模拟场景 服务端异常时, 向kafka推送一条ALERT消息, flink解析消息, 如果连续10s钟有3次alert消息, 则发出报警消息 实现方法 在首次获取到alert消息后, 注册一个10s后的timer事件, 后续alert消息, 校验当前时间是否在timer有效期内, 如果不在则重置timer, 待timer到期时, 校验个数是否满足, 如果满足发出报警 代码 import org.apache.flink.api.common.functions.FlatMapFunction; import
flinksql获取系统当前时间搓_flink sql实战案例之商品销量实时统计
weixin_42146274的博客
01-01 584
1案例背景介绍互联网电商往往需要对订单商品销量实时统计，用于实时大屏展示，库存销量监控等等。本文主要介绍如何通过flink sql的方式进行商品实时销量的统计。业务流程介绍：使用otter采集业务库binlog数据输出到kafkaflink读取kafka数据进行商品销量统计统计结果输出到mysql下游业务系统直接读取mysql数据业务需求介绍：根据订单创建时间统计商品每天的实时销...
Kafka数据积压的解决方案
zbw237798856的博客
01-02 1036
生产上当一个大数据流式计算程序在消费 Kafka 数据时，可能会遇到某个 topic 中的数据生产速度远远超过消费速度，导致数据积压的问题，该如何解决？
kafka数据积压原因以及解决方案
qq_43380361的博客
07-14 3190
首先我们在上面分析得出，是由于上游生产者producer发送数据过快，以及下游消费者consumer拉取数据过慢，实质上就是，生产者生产数据速度>>消费者消费数据速度。我们都知道，数据积压的直接原因，一定是系统中的某个部分出现了性能问题，来不及处理上游发送的数据，才会导致数据积压。那么我们就需要分析在使用kafka时，如何通过优化代码以及参数配置来最大程度的避免数据积压来对业务中的影响。数据积压可能是我们在编写代码处理逻辑的时候，代码质量不高，处理速度慢导致消费数据的性能低，可以优化代码。
Flink实时订单统计示例
大唐帝国—前营
12-20 5599
Flink实时订单统计示例 /** 首先实现了一个模拟的数据源，它继承自 RichParallelSourceFunction， 它是可以有多个实例的 SourceFunction 的接口。 它有两个方法需要实现，一个是 Run 方法，Flink 在运行时对 Source 会直接调用该方法，该方法需要不断的输出数据，从而形成初始的流。 在 Run 方法的实现中，我们随机的产生商品类别和交易量的记...
通过Flink实现个推海量消息数据的实时统计
个推技术学院
12-22 6072
背景 消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。 个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成消息报表。个推每天下...
实现FlinkKafkaConsumer在指定时间范围消费数据
Vin’s blog
10-27 4872
写在前面 自0.10版本起，kafka开始支持指定消费起始时间戳，即使用KafkaConsumer.offsetsForTimes定位时间戳对应的offset, 本质上依然是定位offset进行消费。 对应的，FlinkKafkaConsumer010起，也由source接口支持了在kafka中指定起始时间消费。 FlinkKafkaConsumerBase<T> setStartFromTimestamp(long startupOffsetsTimestamp) 由于业务上的需求，要在Fl
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值