最近在研究librdkafka消费着模式,一直对RdKafka::KafkaConsumer::assign(vector<RdKafka::TopicPartition *> &)函数有疑问,今天做了个小实验验证了自己的想法。
其实kafka有两种消费模式,一种是订阅模式,一种是特定分区模式:
1. 订阅模式:消费着订阅某个topic,那么对于这个topic所有分区内的消息,它都能去消费(当然,同一消费者组的消费者只能消费一次指定topic的消息)。即只要有分区有消息阻塞,且它是空闲状态,
它就可以去消费。使用librdkafka c++版本,即调用RdKafka::KafkaConsumer::subscirbe(const vector<string> &topics>.
2. 分区模式:消费着消费指定topic的指定分区。即消费者只消费指定分区,即使当前分区无数据,而其他分区数据阻塞,也会不去干扰别的分区。使用librdkafka c++版本,调用
RdKafka::KafkaConsumer::assign(const vector<RdKafka::TopicPartition*> &).
两种消费模式各有优劣, 订阅模式可以大大的提高消费速率,但是无法满足需要时序处理的场景,这种场景下,就只能使用分区模式了,分区模式可以很好的保证同一个分区数据的时序性,但是当数据量
过大的时候,消费速率会受影响。