zookeeper管理kafka中offset

最新推荐文章于 2024-08-04 18:29:42 发布

陈情令_忘羡

最新推荐文章于 2024-08-04 18:29:42 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/weixin_38051945/article/details/105627879

版权

本文探讨如何使用Zookeeper来管理Kafka的消费offset，包括KafkaProperties的配置以及优化点，诚邀读者共同参与讨论。

摘要由CSDN通过智能技术生成

之前参考过一篇论文，忘记出处了，有作者看到，请联系我

import com.cpic.spark.KafkaProperties
import org.apache.curator.framework.CuratorFrameworkFactory
import org.apache.curator.retry.ExponentialBackoffRetry
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.TopicPartition
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010._
import org.apache.spark.streaming.{Seconds, StreamingContext}

import scala.collection.JavaConversions._

object KafkaZookeeperCheckPoint2 {

  // ZK client
  val client = {
    val client = CuratorFrameworkFactory
      .builder
      .connectString(KafkaProperties.ZK)
      .retryPolicy(new ExponentialBackoffRetry(1000, 3))
      .namespace("adolph")
      .build()
    client.start()
    client
  }

  // offset 路径起始位置
  val Globe_kafkaOffsetPath = "