本文详细介绍了Kafka的主题、分区和副本的概念及其相互关系。Kafka主题是消息的基础，每个主题可包含多个分区，每个分区又有多个副本以实现高可用。副本分为leader和follower，确保在故障时能切换。通过kafka-topics.sh或AdminClient可创建主题和分区。文章还讨论了AR、ISR和OSR的概念，强调了它们在副本同步和可用性中的作用。
Kafka主题，分区，副本介绍
介绍
今天分享一下kafka的主题(topic)，分区(partition)和副本(replication)，主题是Kafka中很重要的部分，消息的生产和消费都要以主题为基础，一个主题可以对应多个分区，一个分区属于某个主题，一个分区又可以对应多个副本，副本分为leader和follower。
副本的作用是保证数据的高可用，一个副本在一个broker节点上，broker就是一个台机器或者一个kafka实例，当某个副本出现故障后，还可以使用其他副本的数据，如果只有一个副本，那么就无法保证高可用。
主题，分区实际上只是逻辑概念，真正消息存储的地方是副本的日志文件上，所以主题分区的作用是在逻辑上更加规范的管理日志文件。
主题，分区，副本关系如图所示：
创建主题分区
可以使用kafka-topics.sh创建topic，也可以使用Kafka AdminClient创建，当我们往Kafka发送消息的时候，如果指定的topic不存在，那么就会创建一个分区数为1的topic，不过这样做并不合适，我们应该规划好主题的分区，副本，然后在创建topic，这样对管理topic更加好。
kafka broker端默认设置了allow.auto.create.topics=tr
最低0.47元/天 解锁文章
1215
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
