kafka集群实战

基本介绍

• 一个broker意味着集群中只有一个节点，增加集群的数量，只需启动多个broker即可，为更好的理解，我们可启动3个broker。
• 启动后，可上zk中查看节点是否都主从成功

ls /brokers/ids

• 为了好理解，我们可创建一个Topic，设置其分区数为2，副本数为3

bin/kafka-topics.sh --create --zookeeper 192.168.65.60:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

// 查看topic信息
bin/kafka-topics.sh --describe --zookeeper 192.168.65.60:2181 --topic my-replicated-topic

• 一般来说，同一个主题，不同分区的leader会分配到不同broker上，其目的是为了容灾
• 同时，如果分区leader挂了后，会自动选举其中一个副本变成leader，达到一定容错性，实现高可用
• kafka很多集群关键信息都记录在zk中，尽可能保证自己无状态，其目的主要是为了方便水平扩容

集群消息生产与消费

• 每个分区，都有一个leader，0个或多个follwers
• leader负责这个分区的读写，flowers负责被动复制，不提供读写；若leader挂掉，则其中一个follower自动变成新leader
• 生产者负责将消息发送到某个主题下的某个分区，有简单的负载均衡机制；也可根据消息中某个关键属性进行路由到不同分区
• 消费者主要依据自己所在消费组对消息进行消费

• 每个消费者只属于某一个组，一个组里可有多个消费者，从而达到可扩展与高可用
• 一个消费者组中的消费者数量不能比Topic中的分区数量多，多出来的消费者也消费不到消息，浪费

消息顺序

• 与Rocketmq类似，一个分区，同时只有一个对应的消费者才可保证消息顺序
• 所以kafka在分区内可保证局部有序，不可在多个分区中保证总体有序
• 非要整体有序，也可以通过上述方式，将分区数与消费者数都控制为1个，不过这样根本没发挥kafka高性能特性，你为何还要用kafka？为什么不考虑选别的实现方式？
• 总结：顺序消费在kafka应用场景中很少用