librdkafka消费者消费方式

   最近在研究librdkafka消费着模式，一直对RdKafka::KafkaConsumer::assign(vector<RdKafka::TopicPartition *> &)函数有疑问，今天做了个小实验验证了自己的想法。

　其实kafka有两种消费模式，一种是订阅模式，一种是特定分区模式：

　1. 订阅模式：消费着订阅某个topic，那么对于这个topic所有分区内的消息，它都能去消费(当然，同一消费者组的消费者只能消费一次指定topic的消息)。即只要有分区有消息阻塞，且它是空闲状态，

                          它就可以去消费。使用librdkafka c++版本，即调用RdKafka::KafkaConsumer::subscirbe(const vector<string> &topics>.

    2. 分区模式：消费着消费指定topic的指定分区。即消费者只消费指定分区，即使当前分区无数据，而其他分区数据阻塞，也会不去干扰别的分区。使用librdkafka c++版本，调用

                           RdKafka::KafkaConsumer::assign(const vector<RdKafka::TopicPartition*> &).   

 

   两种消费模式各有优劣， 订阅模式可以大大的提高消费速率，但是无法满足需要时序处理的场景，这种场景下，就只能使用分区模式了，分区模式可以很好的保证同一个分区数据的时序性，但是当数据量

   过大的时候，消费速率会受影响。   

转载于:https://www.cnblogs.com/cppthomas/p/11243979.html