【Flink】Flink Committing offsets to Kafka takes longer than the checkpoint interval

已于 2024-02-23 09:29:46 修改
阅读量2.2k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink kafka 大数据
于 2022-01-26 13:08:41 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/122471794
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
在运行Flink程序时遇到检查点恢复报错，错误显示offset提交超时。通过分析发现，问题可能源于频繁的检查点导致offset未能成功提交。调整检查点间隔至5分钟，解决了此警告并使程序正常运行。此外，文章还探讨了Flink如何消费Kafka并提交offset。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

一个flink程序在运行之后，重检查点恢复的时候报错

在这里插入图片描述
这个错误看起来 是增量的检查点，然后被删除了

如果你彻底删掉了文件， 那就没得解决，如果删除的文件，垃圾箱还有，可以恢复一下 ，否则只能重新开始了。

但是后面一直waring,信息如下

Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.

详情如下

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Kafka】Flink 消费 kafka 部分 分区 一直不提交 offset
九师兄
02-25 1886
一个环境，突然发现，Flink消费kafka，只有一个分区不消费了，延迟特别大，其他的分区正常。
flink左内连接Java,Flink Kafka连接器 - 提交偏移量而不检查点
weixin_33249310的博客
03-13 236
我对Flink Kafka Consumer(FlinkKafkaConsumer09)有疑问 . 我一直在使用这个版本的连接器：flink-connector-kafka-0.9_2.11-1.1.2(连接器版本是0.9，akka版本是2.11，flink版本是1.1.2)我在5分钟的翻滚窗口内收集来自kafka的通信数据 . 从我所看到的，窗口与系统时间对齐(例如窗口在12：45,12：50,...
Flink kafka偏移量
qq_27242695的博客
11-22 3633
文章目录Flink kafka偏移量1 代码2 offset 五种模式2.1 kafkaConsumer.setStartFromGroupOffsets();2.2 kafkaConsumer.setStartFromEarliest();2.3 kafkaConsumer.setStartFromLatest()2.4 kafkaConsumer.setStartFromTimestamp()2.5 kafkaConsumer.setStartFromSpecificOffsets(specificSt
Flink的Checkpoint与Kafka的偏移量
Yuan_CSDF的博客
08-12 3966
1、Kafka的offset Kafka0.8版本以前，offset默认存储在zookeeper中（基于Zookeeper） Kafka0.9版本以后，offset默认存储在内部的topic中，基于__consumer_offsets 的Topic中。 二：kafka消费offset提交配置： 1. checkpoint禁用： flink kafka消费依赖于内部kafka客户端自动定期的offset提交 配置：enable.auto.commit / auto.commit.interva.
【记录】flink提交offset给kafka的三种模式
遇事不决问春风
08-09 1409
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyright ownership. * The ASF licenses this file to You un
Flink 1.10消费kafka topic 设置偏移量的几种方式
马斯特杨的博客
05-29 4100
所以必须配置group.id参数从消费者组提交的偏移量开始读取分区（kafka或zookeeper中）。如果找不到分区的偏移量，auto.offset.reset将使用属性中的设置。如果是默认行为(setStartFromGroupOffsets),那么任务从检查点重启，按照重启前的offset进行消费，如果直接重启不从检查点重启并且group.id不变，程序会按照上次提交的offset的位置继续消费。如果group.id改变了，则程序按照auto.offset.reset设置的属性进行消费。但是如果程序带
Flink 源码分析之 - 如何保存 offset
u013939918的博客
07-31 1113
Flink对Offset的管理，有两种方式： 1.Checkpointing disabled 完全依赖于kafka自身的API 2.Checkpointing enabled 当checkpoint做完的时候，会将offset提交给kafka or zk 本文只针对于第二种，Checkpointing enabled  FlinkKafkaConsumerBase中的 notifyCheckpointComplete @Override //当checkpoint完成的时候，此方.
Flink大声说，丢数据这个锅，我们不背！
热门推荐
明哥的IT随笔
01-28 2万+
一。问题现象笔者所在公司基于kakka-flink-es开发了一套日志中心，以方便业务部分通过日志排查业务问题（日志包括全链路日志，业务日志等）。近期业务部门反馈，日志中心在使用过程中出...
Kafka commit：Offset commit with offsets failed
暴暴风的博客
04-25 1796
一个服务消费 kafka 数据出现如下错误： 错误日志: 2022-04-24 17:20:49.168 [org.springframework.kafka.KafkaListenerEndpointContainer#35-0-C-1] ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator[296] - [Consumer clientId=consume
Flink之CheckPoint 构建 真正的End-to-End Exactly-Once
huonan_123的博客
02-08 1252
Caused by: java.lang.Exception: Could not complete snapshot 32 for operator Source: Custom Source -> Sink: MySqlTwoPhaseCommitSink (1/1). at org.apache.flink.streaming.api.operators.AbstractStreamOperator.snapshotState(AbstractStreamOperator.java:422) at
flink checkpoint和kafka offset设置问题
L13763338360的博客
09-02 4181
1. 问题描述 本地调试过程中发现，明明设置了kafka自动提交 enable.auto.commit = true 但flink任务启动后，看日志，有时还是 enable.auto.commit = false kafka的enable.auto.commit时而为true时而为false，导致的现象是，每次重启flink测试任务，有时是从kafka最新消息开始消费(enable.auto.commit=true)，有时是从更早之前消费(en...
checkpoint Kafka Offset commit failed问题记录
最新发布
ChengYanan的博客
05-08 1225
checkpoint Kafka Offset commit failed
flink kafka offse如何提交
cclovezbf的博客
06-08 3140
那么当flink消费kafka数据的时候,该group针对的该topic 的offset 如何提交呢?如何保证flink能够exactly once 消费.Flink消费kafka的offset 会不会有什么问题呢?
记录flink读取kafka数据时checkpoint配置对offset提交的影响
weixin_43992185的博客
03-10 1149
flink 是否启用checkpoint对kafka 消费者offset 提交的影响
KafkaConsumer的同步commit和异步commit。
jason的笔记
03-12 1万+
KafkaConsumer这个类实现了同步commit和异步commit。 同步commit的实现函数如下： public void commitSync(final Map<TopicPartition, OffsetAndMetadata> offsets, final Duration timeout) { acquireAndEnsureOpen();...
关于flink的setCommitOffsetsOnCheckpoints
微电子学与固体电子学-俞驰
03-16 4119
提交 offset 到 kafka,一般都是作为外部进度的监控,想实时知道作业消费的位置和 lag 情况 如果启用了 checkpoint，但是禁用 CommitOffsetsOnCheckpoints， kafka 消费组的 offset 不会提交到 kafka，也就是说： 消费组的 offset 是不会有变化的 用法示例: //创建kafka数据流 val properties = new Properties() properties.setProperty("bootstrap.ser.
Flink如何保存Offset
shengjk1的博客
04-01 4651
Flink对Offset的管理，有两种方式： 1.Checkpointing disabled 完全依赖于kafka自身的API 2.Checkpointing enabled 当checkpoint做完的时候，会将offset提交给kafka or zk 本文只针对于第二种，Checkpointing enabled FlinkKafkaConsumerBase中的 notifyCheckpoi...
Flink实战：Kafka数据流WordCount解析
"这篇文章主要讲解了如何使用Apache Flink从Kafka实时数据流中读取数据，执行WordCount分析，并将结果输出到控制台。它引导读者了解如何编写和执行Flink程序，涉及的关键技术包括Flink的StreamExecutionEnvironment...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值