Kafka工作原理简要概述

1、整体流程

流程图

词汇

1. topic：主题
2. producer：生产者
3. consumer：消费者
4. consumer-group：消费者组
5. offset：偏移量
6. follower：副本

要点概述

1. kafka是以topic进行分类的，由producer生产数据发送到topic，再被consumer进行消费，同时offset会记录每个分区的消费进度，就算中途挂掉了，下次也会从offset开始继续消费
2. 每个topic可以有多个分区，每个分区可以配置1个或多个副本，形成leader-follower的关系，leader和follower不会在同一个节点上（这点和Elasticsearch类似）
3. 每个分区只能被一个consumer消费，如果consumer数量比分区还多，会存在部分consumer闲置，没有数据可以消费

2、生产者

2.1、消息匹配分区

根据发送消息时是否指定partition和key，消息进入的partition策略也不同

指定part