kafka+sparkstreaming 的offset管理

最新推荐文章于 2024-07-20 07:15:00 发布

DaHuangXiao

最新推荐文章于 2024-07-20 07:15:00 发布

阅读量4.2k

点赞数 1

分类专栏： spark 文章标签： spark kafka offset

本文链接：https://blog.csdn.net/m0_37637511/article/details/80413924

版权

本文档详细介绍了在SparkStreaming中消费Kafka主题时，如何利用kafka.consumer.SimpleConsumer来管理和存储offset，特别是在不依赖Zookeeper的情况下，直接在Kafka的__consumer_offsets主题中操作offset的方案。

摘要由CSDN通过智能技术生成

需求：

在使用sparkstreaming消费kafka的topic时，对offset进行管理

网上资料比较少，而且参差不齐

管理的方法也有很多，区别主要在于offset存储在哪里，不同的存储位置意味着不同的存储以及读取方法

本篇博客主要记录一下

如何通过kafka.consumer.SimpleConsumer这个类对offset进行存储和读取

这个类是将offset存储于kafka内部的一个特殊的topic: __consumer_offsets 中

代码如下

package main.scala

import kafka.api.{OffsetCommitRequest, OffsetFetchRequest, TopicMetadataRequest}
import kafka.common.{OffsetAndMetadata, TopicAndPartition}
import kafka.consumer.SimpleConsumer
import kafka.message.MessageAndMetadata
import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Duration, StreamingContext}
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka.{HasOffsetRanges, KafkaUtils}


//需求：消费者自定义控制offset
//在这里offset保存到kafka内部的特殊topic：__consumer_offsets中，使用kafka.consumer.SimpleConsu