Kafka中的topic为什么需要进行分区？

1. 提出问题

昨天在组内做了kafka的技术分享，被我组长问倒了。他表示疑惑：

消费者从broker里拉取消息，只需要指定主题就好了，并不关心消息存在于主题里的哪个分区，那生产者把消息直接发到主题就好了，主题直接存消息就好了，为什么还要把主题再细分成分区呢？

其实也可以换个说法：

分区存在的意义是什么？

2. 寻找答案

为此，会后我查阅了文档并借助搜索引擎，

发现知乎的一篇回答： kafka中的topic为什么要进行分区? 解释得很到位。

1.kafka为什么要在topic里加入分区的概念？

topic是逻辑的概念，partition是物理的概念，对用户来说是透明的。producer只需要关心消息发往哪个topic，而consumer只关心自己订阅哪个topic，并不关心每条消息存于整个集群的哪个broker。

为了性能考虑，如果topic内的消息只存于一个broker，那这个broker会成为瓶颈，无法做到水平扩展。所以把topic内的数据分布到整个集群就是一个自然而然的设计方式。Partition的引入就是解决水平扩展问题的一个方案。

如同 Kafka设计解析（一）里所讲，每个partition可以被认为是一个无限长度的数组，新数据顺序追加进这个数组。物理上，每个partition对应于一个文件夹。一个broker上可以存放多个partition。这样，producer可以将数据发送给多个broker上的多个partition，consumer也可以并行从多个broker上的不同partition上读数据，实现了水平扩展。

2.如果没有分区,topic中的segment消息写满后,直接给订阅者不是也可以吗？

“segment消息写满后”，consume消费数据并不需要等到segment写满，只要有一条数据被commit，就可以立马被消费。

segment对应一个文件（实现上对应2个文件，一个数据文件，一个索引文件），一个partition对应一个文件夹，一个partition里理论上可以包含任意多个segment。所以partition可以认为是在segment上做了一层包装。

 这个问题换个角度可能更好，为什么有了partition还需要segment？

如果不引入segment，一个partition直接对应一个文件（应该说两个文件，一个数据文件，一个索引文件），那这个文件会一直增大。同时，在做data purge时，需要把文件的前面部分给删除，不符合kafka对文件的顺序写优化设计方案。引入segment后，每次做data purge，只需要把旧的segment整个文件删除即可，保证了每个segment的顺序写。