kafka学习记录1-Topic在消费者&生产者之间的作用
消费者&生产者之间存在者一个中间者,这个中间者就是topic,topic可以理解为消息queue。那么下面就具体讲讲我理解的topic。
- topic可以被不同的消费组消费,但是每一个消费组只能有一个消费者消费,这个机制交给broker来做处理
- 生产者push消息到不同的topic下,每个topic下有1到多个partition保存,每个partition分别对应一个文件夹.
- 消费者pull消息消费topic的时候,只有commit确认消息被消费之后,每个消费组消费的offset将会保存在zookeeper中,下次重新消费的时候直接从上次的offset消费,这里需要注意的一点就是,一旦消息被commit之后,如果拉取的消息没有被处理,那么这些消息将会被丢失,那么这里需要我们处理下这里得逻辑。我们这边也可以保存一个offset