Kafka的多副本冗余设计
不管是传统的基于关系型数据库设计的系统,还是分布式的如zookeeper
、redis
、Kafka
、HDFS
等等,实现高可用的办法通常是采用冗余设计,通过冗余来解决节点宕机不可用问题。
首先简单了解Kafka的几个概念:
- 物理模型
- 逻辑模型
-
Broker(节点):Kafka服务节点,简单来说一个
Broker
就是一台Kafka服务器,一个物理节点。 -
Topic(主题):在Kafka中消息以主题为单位进行归类,每个主题都有一个
Topic Name
,生产者根据Topic Name将消息发送到特定的Topic,消费者则同样根据Topic Name从对应的Topic进行消费。 -
Partition(分区):
Topic
(主题)是消息归类的一个单位,但每一个主题还能再细分为一个或多个Partition
(分区),一个分区只能属于一个主题。主题和分区都是逻辑上的概念,举个例子,消息1和消息2都发送到主题1,它们可能进入同一个分区也可能进入不同的分区(所以同一个主题下的不同分区包含的消息是不同的),之后便会发送到分区对应的Broker节点上。 -
Offset(偏移量):分区可以看作是一个只进不出的队列(Kafka只保证一个分区内的消息是有序的),消息会往这个队列的尾部追加,每个消息进入分区后都会有一个偏移量,标识该消息在该分区中的位置,消费者要消费该消息就是通过偏移量来