分区基础概念
由上一篇入门篇中我们知道kafka有主题(Topic)的概念,它是一种逻辑容器。而在主题之下还分为多个分区,分区是物理容器。也就是说kafka的消息组织方式实际上是三级结构:主题 - 分区 - 消息,每个主题下的每条消息只会保存在一个分区中。它的冗余是通过分区备份完成的。
为什么要分区
分区的作用是提供负载均衡能力,实现系统的高伸缩性。分区之后,不同的分区能够放在不同的物理设备上,而数据的读写操作也都是针对分区去进行的,这样就可以使每个分区都可以独立的处理自己分区的读写请求。而且,我们还可以通过添加新的节点机器来提高整个系统的吞吐量。
此时也遇到了一个问题:发送到一个主题的消息应该存到哪一个分区?
于是出现了分区策略
分区策略
kafka提供了多种分区策略:
- 轮询策略
- 随机策略
- Key-ordering(翻译:按消息键保序的策略)
- 其它分区策略
轮询策略:也称 Round-robin 策略,即顺序分配
轮询策略是kafka java生产者api默认的分区策略。如果你未指定partitionner.class参数,那么你的生产者程序会按照轮询的方式在主题的所有分区间均匀地“码放”消息。
轮询策略有非常优秀地负载均衡的表现。它从能保证消息最大限度地平均分配到所有分区上,故默认情况下它是最合理地分区策略,也是我们最常用的分区策略之一。
随机策略:也称Randomness策略,就是随机地将消息放置到任意一个分区上。逊于轮询策略,所以如果追求数据的均匀分布,还是使用轮询策略比较好。
Key-ordering:kafka允许为每条消息定义消息键,简称Key。它是一个有着明确业务含义的字符串。也可以用来表征消息元数据。一旦消息被定义了Key,那么你就可以保证同一个key地所有消息都进入到相同地分区里面,由于每个分区下地消息处理都是顺序地,故这个策略被称为按消息键保序策略。
其它分区策略:比如基于地理位置地分区策略。