spark消费kafka数据，并把偏移量保存在redis

最新推荐文章于 2024-06-22 11:09:29 发布

luoyunfan6

最新推荐文章于 2024-06-22 11:09:29 发布

阅读量1.1k

点赞数 1

分类专栏： spark基础 redis kafka 文章标签： kafka redis mysql

本文链接：https://blog.csdn.net/luoyunfan6/article/details/103721768

版权

该博客介绍了如何使用Spark从Kafka特定主题中消费数据，并将消费者的偏移量保存到Redis中，以实现数据处理流程的跟踪。

摘要由CSDN通过智能技术生成

实现功能：

从kafka读取某一主题，消费者组的偏移量

基于读出的offset，创建kafka读取流程

把各个分区的偏移量保存到redis。


import Kafka010.Utils.{MyKafkaUtils, RedisUtilsDemo}
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.TopicPartition
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010._
import org.apache.spark.streaming.{Seconds, StreamingContext}

object Test{
  def main(args: Array[String]): Unit = {
    //创建spark环境
    val conf = new SparkConf()
      .setMaster("local[*]")
      .setAppName(s"${this.getClass.getCanonicalName}")
    //创建sparkStreamingContext
    val ssc = new StreamingContext(conf, Seconds(2))
    //创建kafka相关参数
    val groupId = "SparkKafka010"
    val topics = List("datacollection")
    //获取kafka参数，这里是自定义的MyKafkaUtils类，后面给出类的具体内容
    val kafkaParams