kafak消费者从头开始消费（消费者组）

最新推荐文章于 2024-07-16 07:13:28 发布

tomjourney

最新推荐文章于 2024-07-16 07:13:28 发布

阅读量5.7k

点赞数

分类专栏： kafka 文章标签： kafka 分布式

本文链接：https://blog.csdn.net/PacosonSWJTU/article/details/121233332

版权

kafka 专栏收录该内容

25 篇文章 1 订阅

订阅专栏

本文详细介绍了如何配置Kafka消费者从头开始消费消息。关键在于设置新的消费者组ID和`auto.offset.reset`为`earliest`。提供了一个Java代码示例，展示如何创建消费者、订阅主题并消费数据，帮助开发者理解这一过程。

摘要由CSDN通过智能技术生成

【README】

本文主要用于描述 kafka 消费者如何从头开始消费；

【1】从头开始消费

1）从头开始消费，需要满足两个条件，如下：

条件1，使用一个全新的消费者组id；
条件2，指定 auto.offset.reset 为 earliest ；

2）代码如下：

public static void main(String[] args) {
		/* 1.创建消费者配置信息 */
		Properties props = new Properties();
		/*2.给配置信息赋值*/
		/*2.1连接的集群*/
		props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "centos201:9092");
		/*2.2开启自动提交 */
		props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
		/*2.3 自动提交的延时*/
		props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
		/*2.4 key value的反序列化 */
		props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
		props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
		/*2.5 消费者组 */
		props.put(ConsumerConfig.GROUP_ID_CONFIG, "sichuan2"); // group.id 
		/*2.6 重置消费者的offset */ 
		props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); // 默认值是 lastest 
		
		/* 创建消费者 */
		KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); 
		/* 订阅主题 */
		consumer.subscribe(Arrays.asList("third", "second"));
		/* 循环拉取 */ 
		int i =0;
		while(true) {
			if (i++ > 10) break; // 只消费10条数据 
			/* 消费消息-获取数据 */
			ConsumerRecords<String, String> consumerRds  = consumer.poll(100);
			/* 解析并打印 ConsumerRecords  */
			/* 遍历 ConsumerRecords*/
			for(ConsumerRecord<String, String> rd : consumerRds) {
				System.out.println("[消费者] " + rd.key() + "--" + rd.value()); 
			}
		} 
		/* 关闭消费者 */ 
		consumer.close(); 
	}