基于Scala实现根据指定分区指定Offset开始消费Kafka的数据

最新推荐文章于 2024-08-03 16:52:38 发布

写Scala的老刘

最新推荐文章于 2024-08-03 16:52:38 发布

阅读量1.1k

点赞数 1

本文链接：https://blog.csdn.net/qq_40625030/article/details/90231542

版权

本文提供了一个使用Scala进行Kafka数据消费的简单测试示例，特别是如何从指定的分区和Offset开始消费。内容提及topic数据为二进制格式，并采用ByteArrayDeserializer进行反序列化。

摘要由CSDN通过智能技术生成

一个很简单的测试Demo 这个topic数据是二进制格式,所以value的反序列化方式是 classOf[ByteArrayDeserializer].getName

import java.util
import java.util.Properties
import scala.collection.JavaConversions._
import org.apache.kafka.clients.consumer.KafkaConsumer
import org.apache.kafka.common.TopicPartition
import org.apache.kafka.common.serialization.{ByteArrayDeserializer, StringDeserializer}
/**
  * Create by 写scala的老刘 2019-05-10 16:15
  *
  */
object KafkaConsumerBeginning {
  def main(args: Array[String]): Unit = {
      val topic = "TestTopic"
    val consumerProp = new Properties();
    consumerProp.put("bootstrap.servers", "ip:端口")
    consumerProp.put("group.id", "test")
    consumerProp.put("enable.auto.commit", "false")
    consumerProp.put("auto.commit.interval.ms", "1000");
    consumerProp.put("key.deserializer", classOf[StringDeserializer].getName);
    consumerProp.put