浅谈kafka之partition

partition(分区)是kafka的一个核心概念，kafka将1个topic分成了一个或多个分区，每个分区在物理上对应一个目录，分区目录下存储的是该分区的日志段(segment)，包括日志的数据文件和两个索引文件。然后每个分区又对应一个或多个副本，由一个ISR列表来维护。 注意：分区数可以大于节点数，但是副本数不能大于节点数，因为副本需要分不到不同的节点上，才能达到备份的目的。

1. partition的创建

用户可以在创建topic时指定partitioin的数目，一般来说该数目通常设为broker节点数的整数倍，这样可以保证分区数据均匀的分配到集群中，而且最大化的提升并行读写效率。

2. 生产者写入partition

生产者在向某个主题发送消息时，会根据分配策略将消息发送到对应的分区，比如可以指定某个partiton by的key值，通过对该key值进行哈希决定写入哪个partition，这种策略要注意可能会出现的热点数据问题；如果不指定分区的key值，则默认以轮询的方式均匀的写入到各个分区。

kafka保证同一个分区内的数据是有序的，我们也可以认为一个分区就是一个有序的消息队列。

3. 消费者与partition

每个主题的某一个分区只能被同一个消费组下的其中一个消费者消费，因此我们可以说分区是消费并行度的基本单位。从消费者的角度讲，我们订阅消费了一个主题，也就订阅了该主题的所有分区。

4. partition与副本

一个分区可以有一个或多个副本，副本根据是否接受读写请求，又可分为leader副本和follower副本，一个分区有一个leader副本，0个或多个follower副本。Leader副本处理分区所以的读写请求并维护自身与follower副本的状态信息。follower副本作为消费者从leader副本拉取消息进行同步。如果leader副本失效，则通过分区的leader选举器从副本列表中选择一个副本作为新的leader。

参考链接

1. https://segmentfault.com/a/1190000039956301?utm_source=tag-newest