kafka-之Consumer客户端开发(包括参数配置及offset提交等)

最新推荐文章于 2023-08-24 12:17:59 发布

稳哥的哥

最新推荐文章于 2023-08-24 12:17:59 发布

阅读量576

点赞数

分类专栏： Kafka

本文链接：https://blog.csdn.net/shufangreal/article/details/111224312

版权

本文详细介绍了Kafka Consumer客户端的开发，包括必要的参数配置如GROUP_ID_CONFIG、KEY_DESERIALIZER_CLASS_CONFIG等，订阅主题与分区的两种方式，以及consumer-offset提交的原理和手动提交的同步与异步方法。通过理解这些内容，可以帮助开发者更好地管理和控制Kafka消费者的消息消费。

摘要由CSDN通过智能技术生成

kafka-之Consumer客户端开发(包括参数配置及offset提交等)

kafka的ConsumerAPI与Producer ClientAPI一样也经历了2个大的版本，0.9x之前使用scala编写的成为Old Consumer API，0.9x版本以来推出的Java编写的客户端API被称为New Consumer API。这里我们只讨论新的Java API。

一个正常的消费者逻辑包括以下逻辑：

创建一个消费者实例，并配置相关参数
订阅主题
拉取消息并消费
提交offset消费偏移量
关闭消费者实例

1 必要的参数配置

在创建一个消费者和时候，我们需要指定几个必要的参数

GROUP_ID_CONFIG
- 消费者组
KEY_DESERIALIZER_CLASS_CONFIG
- 消息key的反序列化方式，应该与生产者那边的序列化方式保持一致
VALUE_DESERIALIZER_CLASS_CONFIG
- 消息value的反序列化方式，应该于生产者那边的序列化方式保持一致
BOOTSTRAP_SERVERS_CONFIG
- 指定一个或者多个Kafka的节点，方便客户端获取kafka集群的元数据

    public static Properties initConsConfig() {
   
      
      	//配置必要的参数
        Properties prop = new Properties();

        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "first-group1");
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        return prop;
    }

    public static void main(String[] args) {
   

      //配置必要参数
        Properties prop = initConsConfig();
       //构建消费者实例
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

      	//订阅主题
        consumer.subscribe(Collections.singletonList("topic1"));

        while (true) {
   
          	//拉取消息
            ConsumerRecords<String, String> records = consumer.