kafka consumer类中关于offset使用例子

kafka consumer类中关于offset使用例子

偏移量和消费者位置

kafka为分区中的每一个记录维护一个数字偏移量。偏移量是分区中消费者独一无二特征，标记消费者在分区中的位置，例如一个消费者在位置5则表示已经消费了0到4位置的记录，而且将收到位置5的记录，这里有两个关于消费者位置的概念：
位置（position）代表下一个将要得到的记录的偏移量。它的值比消费者在这个分区中已经见过的最大偏移量还要大，每次调用poll收到记录之后它会自动前进。
提交位置（commit position）是已经被安全存储的最后偏移量，程序失败或者重启的时候它是程序恢复的偏移量，消费者可以选择周期性自动提交偏移量，或者通过调用提交API（commitSync或commitAsync）人为控制偏移量的提交.
这种区别可以让消费者控制何时认为记录已经被消费了。

1. 自动提交偏移量

 Properties props = new Properties();   
 props.setProperty("bootstrap.servers", "localhost:9092");
 props.setProperty("group.id", "test");
 props.setProperty("enable.auto.commit", "true");
 props.setProperty("auto.commit.interval.ms", "1000");
 props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
 consumer.subscribe(Arrays.asList("foo", "bar"));
 while (true) {
     ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
     for (ConsumerRecord<String, String> record : records)
         System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
 }

通过使用配置bootstrap.servers来制定一个或者多个代理的