kafka 两段式提交_Kafka-消费者-偏移量的提交方式

import org.apache.kafka.clients.consumer.*;

import org.apache.kafka.common.TopicPartition;

import java.time.Duration;

import java.util.Collections;

import java.util.HashMap;

import java.util.Map;

import java.util.Properties;/**

* @Author FengZhen

* @Date 2020-04-06 11:07

* @Description kafka消费者*/

public classKafkaConsumerTest {private static Properties kafkaProps = newProperties();static{

kafkaProps.put("bootstrap.servers", "localhost:9092");

kafkaProps.put("group.id", "test");

kafkaProps.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

kafkaProps.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

}public static voidmain(String[] args) {

commitAuto();

}/**

* 自动提交偏移量*/

public static voidcommitAuto(){

KafkaConsumer consumer = new KafkaConsumer(kafkaProps);//订阅主题,可传入一个主题列表，也可以是正则表达式，如果有人创建了与正则表达式匹配的新主题，会立即触发一次再均衡，消费者就可以读取新添加的主题。//如：test.*，订阅test相关的所有主题

consumer.subscribe(Collections.singleton("test_partition"));

System.out.println("==== subscribe success ====");try{while (true){//消费者持续对kafka进行轮训，否则会被认为已经死亡，它的分区会被移交给群组里的其他消费者。//传给poll方法的是一个超时时间，用于控制poll()方法的阻塞时间(在消费者的缓冲区里没有可用数据时会发生阻塞)//如果该参数被设为0，poll会立即返回，否则它会在指定的毫秒数内一直等待broker返回数据//poll方法返回一个记录列表。每条记录包含了记录所属主题的信息、记录所在分区的信息、记录在分区里的偏移量，以及记录的键值对。

ConsumerRecords records = consumer.poll(Duration.ofMillis(100));

System.out.println("==== data get ====");for (ConsumerRecordrecord : records) {

System.out.println(String.format("topic=%s, partition=%s, offs