kafka的__consumer_offsets 作用

kafka 的consumer里面默认有一个叫做：__consumer_offsets 的topic。 这个topic的作用主要是保存当前topic的消费者的offset。

下面演示一下：

一 ：首先使用命令行创建一个kafka producer,topic命名为:test2

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test2

 

二：之后我们用Java代码写一个kafka consumer程序，当然这里你也可以使用命令行的形式来消费。这里我们只需要关注它的group.id是test111即可。

   public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");// 该地址是集群的子集，用来探测集群。
        props.put("group.id", "test111");// cousumer的分组id
        props.put("enable.auto.commit", "true");// 自动提交offsets
        props.put("auto.commit.interval.ms", "1000");// 每隔1s，自动提交offsets
        props.put("session.timeout.ms", "30000");// Consumer向集群发送自己的心跳，超时则认为Consumer已经死了，kafka会把它的分区分配给其他进程
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");// 反序列化器
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("auto.offset.reset","earliest");
        props.put("group.id", "consumer20210405");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test2"));// 订阅的topic,可以多个
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s",
                        record.offset(), record.key(), record.value());
                System.out.println();
            }
        }
    }

三：

3.1 我们往topic为test2里面输入两条数据

 3.2 打开我们刚才的Java程序，可以看到数据正常消费，当前的offset=1

3.3 这个时候，我们通过命令行的形式看下kakfa 的__consumer_offsets。注意我们用的group.id是test111。

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server localhost:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config config/consumer.properties --from-beginning |grep test111