一、为什么要分区?
在使用Apache Kafka 生产和消费消息的时候,肯定是希望能够将数据均匀地分配到所有服务上。 比如很多公司使用Kafka收集应用程序的日志数据,这种数据都是很多的, 特别是对于大批量集群环境,每分钟产生的日志量达到GB级别,因此如何将这么大的数据量均匀分配到Kafka的各个Broker上,是一个非常重要的问题。
Kafka有主题(Topic)的概念,它是承载真实数据的逻辑容器,而在主体之下还分为若干分区,Kafka 消息组织是三级结构:主题-分区-消息。主题下每条消息都会保存到一个分区中。 官网描述三级结果示例图如下:
Kafka 为什么使用分区的概念而不使用多个主题呢 ?
其实分区的作用是提供负载均衡的能力,是为了实现系统的高伸缩性(Scalability)。不同的分区能够放置到不同的节点上,而数据的读写操作是针对分区粒度进行的,这样每个节点的机器都能独立执行各个自分区的读写操作。并且,我们还可以通过添加新节点机器来增加整体的吞吐量。
其实分区的概念在分布式系统中非常常见,不同的分布式系统中叫法不尽相同而已。比如,在Kafka中叫分区,在MongoDB 和 Elasticsearch 中就叫分片Shard,在HBase中则叫Region,在Cassandra 中被叫做vnode。
在Kafka 分区除了提供负载均衡这种核心功能外, 还能解决供顺序消息等业务需求。