新版本 Kafka Consumer 的设计原理

　　相对Producer来说，Consumer使用和设计类似，但更为复杂。因此将Consumer相关知识总结一番。顾名思义，consumer就是读取kafka集群中某些topic消息的应用程序。consumer有两个版本，老版本用Scala语言编写，其api包名为kafka.consumer.*, 分别提供high-level和low-level两种API，其缺点是用户必须自行实现错误处理和故障转移等功能，必须依赖zk记录消费的offset；新版本用Java语言编写，其api包名为org.apache.kafka.clients.consumer.*。本文主要讨论新版consumer的特性，同时对老版本相关特性进行一定讨论。首先，先贴出一段简单的kafka consumer代码

public static void main(String[] args){
        String topicName = "test-topic";
        String groupId = "test-group";

        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092"); //必须指定
        props.put("group.id", groupId);
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("auto.offset.reset", "earliest");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
        consumer.subscribe(Arrays.asList(topicName));
        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(1000);
                for(ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n",record.offset(),record.key(),record.value());
                }
            }
        } finally {