文章介绍了Kafka集群的基本构成，包括Broker作为服务器节点，每个节点可运行多个Kafka实例；Topic作为消息主题，用于分类数据；Partition实现负载均衡，提高吞吐量；Replication提供副本以确保高可用性；Consumer和ConsumerGroup则涉及消息的消费机制，保证数据的有序消费和提高处理效率。
kafka cluster: kafka集群，一台或多台服务器组成
Broker: Broker是指部署了Kafka实例的服务器节点。每个服务器上有一个或多个kafka的实
例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等......
Topic:消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。实际应用中通常是一个业务线建一个topic。
Partition: Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的,partition的表现形式就是一个一个的文件夹!
Replication:每一个分区都有多个副本，副本的作用是做备胎。当主分区(Leader)故障的
时候会选择一个备胎（Follower)上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本(包括自己)。
consumer:消费者，即消息的消费方，是消息的出口。
Consumer Group:我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分
区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量!
工作流程
我们看上面的架构图中，producer就是生产者，是数据的入口。Producer在写入数据的时候会把数据写入到leader中，不会直接将数据写入follower!那leader怎么找呢?写入的流程又是什么样的呢?我们看下图:
扫一扫
668
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
