1、kafka整体架构
角色介绍:
①Producer:消息生产者,负责发送消息到kafka集群。
②Broker : kafka服务端,负责接收客户端(producer/consumer )请求、存储消息、协调消费组等。Broker没有主从之分,只不过通过Zookeeper选择出一个控制节点,控制节点负责管理整个集群中所有分区和副本的状态,例如分区故障后重新选角leader分区等。
③Consumer:负责从Broker上拉取消息进行业务处理。
④Zookeeper:负责协调整个Broker集群,负责选取控制Broker、存储集群元数据、topic路由信息存储等。
⑤Log:磁盘上的日志目录,消息就是存储在log中。