Kafka 学习笔记(4) - Consumer和Producer

Producer负责分发message到topic，并且要选择哪些message分发到这个topic的哪个partition，分发机制可能使用轮询，也可以自己根据应用场景来定。

分发消息可以通过动态分配partition来实现灵活的分配Work Load

public ProducerRecord(String topic, Integer partition, K key, V value)

Kafka的消息顺序是在一个Partition的范围内保证，在Partition之间是无法保证的。

因此，如果消息前后有顺序关系，那么可以将先后顺序的消息Publish到同一个Partition，每个Consumer线程也是从一个Partition读取。

并且，如果只有一个Partition的情况下，即使使用多个线程读取，实际上也只有一个thread会consume message

因此Consumer的数量是根据Partition来制定，Consumer不应该多于Partition，否则多出的consumer线程会处于空闲状态

如果使用Java, 现在Kafka推荐使用的是新的kafka client API

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

...

    public static void sendMessage(int start, int partition) {
        long t0 = System.currentTimeMillis();
        Map<String, Object> configs = new HashMap<String, Object>();
        configs.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        configs.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        configs.put("bootstrap.servers", "localhost:9092");
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(configs);
        for (int i = start; i<start+10000; i++) {
            producer.send(new ProducerRecord<String,String>("test", partition, "key", "value:"+i + " test data"));
        }
        producer.close();
        System.out.println("Time : " + (System.currentTimeMillis() - t0));
    }

kafka自带的Consumer API （非kafka client)

       Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
        topicCountMap.put(topic, new Integer(a_numThreads));
        Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
        List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topic);

        // now launch all the threads
        //
        executor = Executors.newFixedThreadPool(a_numThreads);
 
        // now create an object to consume the messages
        //
        int threadNumber = 0;
        for (final KafkaStream stream : streams) {
            executor.submit(new ConsumerTest(stream, threadNumber));
            threadNumber++;
        }

我测试使用4个partition，然后开5个consumer进行测试，多出的consumer无法读取信息。