看某明星偷税不如看老司机谈Kafka的Broker和集群是什么回事

一个独立的服务器被称之为Broker。Broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。Broker为消费者提供服务，对读取分区的请求做出响应，返回已经提交到磁盘上的消息。根据特点的硬件及其特性特征，单个Broker可以轻松的处理数千个分区以及每秒百万级的消息量

而多个Broker组成一个集群，每个集群里面都有一个Broker同时充当集群控制器的角色（这个角色是自动从活跃人群众选举出来的）。集群控制器负责管理集群的工作，包括将分区分配给Broker和监控Broker。在集群中，一个分区从属于一个Broker，该Broker被称之为分区的首领。一个分区可以分配给多个Broker，这个时候会发送分区复制。这种复制机制为分区提供了消息冗余，如果一个Broker失效，其他的Broker可以接管领导权。不过，相关的消费者和生产者都要重新连接到新的首领。

 

在一定的期限内保留消息是Kafka的一个重要特性。Kafka Broker默认的消息保留策略是这样的：要么保留一段时间（比如7天），要么保留到消息达到一定大小的字节数（比如1GB）。当消息量达到这些上限时，旧消息就会过期并被删除，所以在任何时刻，可用消息的总量都不会超过他们配置参数所指定的大小。主题可以配置自己的保留策略，可以将消息保留到他们不再用为止。后续会一只更新大家喜欢的话，欢迎大家关注和转发。

欢迎工作一到五年的Java工程师朋友们加入Kafka架构开发： 798891710

群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料）合理利用自己每一分每一秒的时间来学习提升自己，不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代！