mashaokang1314的博客

与KafkaProducer不同的是，KafkaConsumer不是一个线程安全的类。为了便于分析，我们认为下面介绍的所有操作都是在同一线程中完成的，所以不需要考虑锁的问题。这种设计将实现多线程处理消息的逻辑转移到了调用KafkaConsumer的代码中，可以根据业务逻辑使用不同的实现方式。例如，可以使用“线程封闭”的方式，每个业务线程拥有一个KafkaConsumer对象，这种方式实现简单、快速。还可以使用两个线程池实现“生产者—消费者”模式，解耦消息消费和消息处理的逻辑。

Kafka 内部备份机制的原理

一个Kafka分区本质就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统高可用性。

KafkaProducer发送消息流程

这个分配过程就被称为rebalance，consumer成功地执行rebalance后，组订阅topic的每个分区只会分配给组内的一个 consumer实例。consumergroup的rebalance本质上是一组协议，它规定了一个consumergroup是如何达成一致来分配订阅topic的所有分区的。offset，但是rebalance之后该group产生了新一届的group成员，而这次延迟的offset提交携带的旧的generation信息，因此这次提交会被consumer group拒绝。

Kafka生产者和消费者基本操作

Kafka的基本概念以及topic的基本操作