【Flink】Flink Starting Offset 启动消费位置指定时间消费

九师兄

已于 2022-12-18 12:01:28 修改

阅读量1.1k

点赞数 1

分类专栏：大数据-flink 文章标签： flink java 大数据

于 2022-12-18 11:59:24 首次发布

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/125360383

版权

大数据-flink 专栏收录该内容

839 篇文章 855 订阅 ¥99.90 ¥299.90

订阅专栏

本文介绍了Flink 1.14.0的Kafka Connector如何通过OffsetsInitializer指定启动消费位置，特别是如何测试指定时间戳消费的生效情况。在源码分析中，着重探讨了TimestampOffsetsInitializer类的getPartitionOffsets方法，该方法根据时间戳查找Kafka的相应offset。对于低版本Kafka，提出了使用二分法判断时间来定位数据的思路。

摘要由CSDN通过智能技术生成

文章目录

1.概述
2.测试
3.源码

1.概述

首先参考文章：【Flink】Flink 1.14.0 全新的 Kafka Connector

Kafka Source 能够通过指定 OffsetsInitializer来消费从不同偏移量开始的消息。内置的初始值设定项包括：

KafkaSource.builder()
    // Start from committed offset of the consuming group, without reset strategy
    .

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

flink消费kafka细节

u011624157的专栏

12-10

1017

flink消费kafka细节 Apache kafka connector提供对Kafka服务的事件流的访问。Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。 Flink Kafka Consumer与Flink的检查点机制集成在一起，以提供一次精确的处理语义。为此，Flink不仅仅依赖于Kafka的消费者群体偏移量跟踪，还内部跟踪和检查这些偏移量。请为您的用例和环境选择...

flink sql消费kafka 消费位置常用配置

yy的博客

11-07

1893

【代码】flink sql消费kafka 消费位置常用配置。

1 条评论您还未登录，请先登录后发表或查看评论

实现FlinkKafkaConsumer在指定时间范围消费数据

Vin’s blog

10-27

4826

写在前面自0.10版本起，kafka开始支持指定消费起始时间戳，即使用KafkaConsumer.offsetsForTimes定位时间戳对应的offset, 本质上依然是定位offset进行消费。对应的，FlinkKafkaConsumer010起，也由source接口支持了在kafka中指定起始时间消费。 FlinkKafkaConsumerBase<T> setStartFromTimestamp(long startupOffsetsTimestamp) 由于业务上的需求，要在Fl

kafka 时间戳偏移量消费

guoruijun_2012_4的专栏

09-14

832

package com.jasongj.kafka.consumer; import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; im

flink消费kafka从指定时间消费offset的日志

wppwpp1的专栏

06-22

635

有时生产上会按指定时间消费kafka的数据，具体日志如下：

Flink-Kafka指定offset的五种方式

ruiyiin的专栏

06-19

4069

本文转自：https://zhuanlan.zhihu.com/p/94592509 默认：从topic中指定的group上次消费的位置开始消费。所以必须配置group.id参数从消费者组提交的偏移量开始读取分区（kafka或zookeeper中）。如果找不到分区的偏移量，auto.offset.reset将使用属性中的设置。如果是默认行为(setStartFromGroupOffsets),那么任务从检查点重启，按照重启前的offset进行消费，如果直接重启不从检查点重启并且group.id不变，程

flink1.15消费kafka之checkpoint 一

yiweiyi329的博客

07-10

2316

flink1.15源码实践

Flink Checkpoint是否支持Kafka 数据消费状态的维护？

Deepexi_Date的博客

12-23

1247

作者：闻乃松使用Flink实时消费kafka数据时候，涉及到offset的状态维护，为了保证Flink作业重启或者运行时的Operator级别的失败重试，如果要做到“断点续跑”，需要Flink的Checkpoint的支持。问题是，如果简单的开启Flink的Checkpoint机制，而不需要额外的编码工作，是否能达到目的？为回答该问题，本文首先要研究Flink的Checkpoint的处理机制，然后再看Flink是否支持Kafka的状态存储，于是本文分以下四个部分： Flink Checkpoint 状态快

Flink知识总结（汇总）

weixin_49165958的博客

04-20

2859

一、Flink cdc 1.简介 1.1 CDC种类 FlinkCDC，简单了解下Change Data Capture(变更数据获取)的概念：核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费 CDC的种类：主要分为基于查询和基于Binlog两种方式，区别：针对Binlog的CDC，有如下的区别分析： 1.2 FlinkCDC 版本 Flink自然也不甘示弱，FlinkCDC应运而生，通过

【Flink】Flink 批处理模式消费指定的 offset 结束

九师兄

09-06

1282

Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保证恰好一次次语义。Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。最近的 Kafka 客户端向后兼容 broker 版本 0.10.0 或更高版本。关于 Kafka 兼容性的详细信息，请参考 Kafka 官方文档。

flink 根据时间消费kafka

weixin_30877181的博客

06-11

443

经常遇到这样的场景,13点-14点的时候flink程序发生了故障,或者集群崩溃,导致实时程序挂掉1小时,程序恢复的时候想把程序倒回13点或者更前,重新消费kafka中的数据. 下面的代码就是根据指定时间戳(也可以换算成时间)开始消费数据,支持到这样就灵活了,可以在启动命令中加个参数,然后再配个守护程序来控制程序. flink代码 import java.util.Properties impo...

Flink对接Kafka的topic数据消费offset设置参数

zwahut的专栏

11-24

4914

开始阅读位置# config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是： `group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`：从可能的最早偏移量开始。 `latest-offset`：从最新的偏移量开始。 `timestamp`：从用户提供的每个分区的时间戳开始。 `specific-offsets`：从用户提供的每个分区的特定偏移量开始。默认选项值group-o.

flink1.16使用消费/生产kafka之DataStream

cclovezbf的博客

07-25

2695

flink高级版本后，消费kafka数据一种是Datastream 一种之tableApi。上官网。

flink从kafka-topic固定offset消费的5种方式

zhangkai0575的博客

12-27

1226

package flinkdemo.sinkDemo; import flinkdemo.sourceDemo.deserialization.ConsumerRecordKafkaDeserializationSchema; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.st...

flink开发遇到的问题-kafka source offset

baiyun__heitu的博客

09-05

287

flink运行程序提交偏移量，每次启动的时候（不恢复状态（ckp 或者sp）从Kafka保存的偏移量恢复程序）发现总是会从earliest，latest消费，并未按照预想的那样从kafka保存的偏移量接着消费。

【Spark】Structured Streaming入门解析（一）

Together

04-16

6151

我们学习了Structured Streaming之后知道outputMode有三种模式，如下???? 那么这三种模式有什么区别呢？我大致总结了一下???? 1.Append mode:输出新增的行，默认模式。每次更新结果集时，只将新添加到结果集的结果行输出到接收器。仅支持添加到结果表中的行永远不会更改的查询。因此，此模式保证每行仅输出一次。例如，仅查询select，where，map，flatMap，...

flink 任务恢复后的kafka消费起始位置

最新发布

csdn问鼎

08-17

421

flink 在不同配置下，消费起始位置的不同

Flink 1.14.0 消费 kafka 数据自定义反序列化类

JasonLee实时计算

10-13

6325

在最近发布的 Flink 1.14.0 版本中对 Source 接口进行了重构,细节可以参考 FLIP-27: Refactor Source Interface重构之后 API 层面的改...

flink kafka指定offset消费

08-30

Flink作为一个分布式流处理框架，可以集成Kafka并实现指定offset的消费。下面是使用Flink消费Kafka指定offset的简单步骤：首先，确保你的项目依赖中已经引入了Flink和Kafka的相关库。在Flink应用程序中，你需要创建一个消费者并指定要消费的Kafka话题。使用`FlinkKafkaConsumer`类来创建一个Kafka消费者对象，并在构造函数中指定Kafka的连接地址、话题和反序列化器等相关信息。例如： ```java Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "my-consumer-group"); FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), properties); ``` 然后，你可以使用`setStartFromSpecificOffsets()`方法来指定要从哪个offset开始消费。`setStartFromSpecificOffsets()`方法接受一个`Map<KafkaTopicPartition, Long>`参数，其中`KafkaTopicPartition`表示Kafka话题的分区，`Long`表示要指定的offset。例如，假设你要指定从话题`my-topic`的第一个分区的偏移量10开始消费，那么你可以这样设置： ```java Map<KafkaTopicPartition, Long> specificOffsets = new HashMap<>(); specificOffsets.put(new KafkaTopicPartition("my-topic", 0), 10L); kafkaConsumer.setStartFromSpecificOffsets(specificOffsets); ``` 最后，将Kafka消费者对象传递给Flink的`addSource()`方法来创建数据源。例如： ```java DataStream<String> dataStream = env.addSource(kafkaConsumer); ``` 在这之后，你可以继续处理和转换数据流，实现你的业务逻辑。以上就是使用Flink Kafka消费者指定offset消费的简单过程。通过指定offset，你可以从指定位置开始消费Kafka数据，而不是从最新或最早的offset开始消费。

【Flink】Flink Starting Offset 启动消费位置 指定时间消费

文章目录

1.概述

【Flink】Flink Starting Offset 启动消费位置指定时间消费