用Zookeeper保存kafka的偏移量

用Zookeeper保存kafka的偏移量

话不多说,直接上代码

//从ZK获取offset
def getOffsetFromZookeeper(kafkaCluster: KafkaCluster, kafkaGroup: String, kafkaTopicSet: Set[String]): Map[TopicAndPartition, Long] = {

  // 创建Map存储Topic和分区对应的offset
  val topicPartitionOffsetMap = new mutable.HashMap[TopicAndPartition, Long]()

  // 获取传入的Topic的所有分区
  // Either[Err, Set[TopicAndPartition]]  : Left(Err)   Right[Set[TopicAndPartition]]
  val topicAndPartitions: Either[Err, Set[TopicAndPartition]]= kafkaCluster.getPartitions(kafkaTopicSet)

  // 如果成功获取到Topic所有分区
  // topicAndPartitions: Set[TopicAndPartition]
  if (topicAndPartitions.isRight) {
    // 获取分区数据
    // partitions: Set[TopicAndPartition]
    val partitions: Set[TopicAndPartition] = topicAndPartitions.right.get

    // 获取指定分区的offset
    // offsetInfo: Either[Err, Map[TopicAndPartition, Long]]
    // Left[Err]  Right[Map[TopicAndPartition, Long]]
    val offsetInfo: Either[Err, Map[To
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值