Flink消费Kafka数据指定offset的五种模式

最新推荐文章于 2024-05-23 10:57:27 发布

hadoop的大象

最新推荐文章于 2024-05-23 10:57:27 发布

阅读量1.1k

点赞数 1

文章标签： kafka flink big data

原文链接：https://blog.csdn.net/LINBE_blazers/article/details/108489375

版权

文章目录

总结

代码如下（示例）：

FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props);
 
/**
* Flink从topic中最初的数据开始消费
*/
consumer.setStartFromEarliest();
 
/**
* Flink从topic中指定的时间点开始消费，指定时间点之前的数据忽略
*/
consumer.setStartFromTimestamp(1559801580000l);
 
/**
* Flink从topic中指定的offset开始，这个比较复杂，需要手动指定offset
*/
consumer.setStartFromSpecificOffsets(offsets);
 
/**
* Flink从topic中最新的数据开始消费
*/
consumer.setStartFromLatest();
 
/**
* Flink从topic中指定的group上次消费的位置开始消费，所以必须配置group.id参数
*/
consumer.setStartFromGroupOffsets();