kafka——基于kafka-manager验证分片副本机制，partition选主机制，故障恢复

 

• kafka-manager（kafka eagle也不错），覆盖了kafka bin目录的大多数命令，可以可视化创建删除topic,查看topic列表，prefferred Replica Election  选举，partition重分配（重新分区后），消费者查询等。
• 如果自己的Java环境>= java 11 ,可以使用高版本的CMAK（CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager），改了一下名字而已。下载
• 网盘下载链接: http://pan.baidu.com/s/1qY8sGoO 密码: ye7b 下载传到Linux解压，修改kafka-manager.zkhosts="localhost:2181"此行中的localhost,改为你的Zookeeper 后启动即可，默认端口9000. 参考=>https://blog.csdn.net/x541211190/article/details/81191608
• bin目录：./kafka-manager  -Dhttp.port=9898 

注意：kafka的副本可以与partition分配在同一个broker但最多一个，但是kafka会尽力避免这种分配，而es是强制禁止主分片与副本分配到同一个节点。

实验1

如图发现test3只有一个partition，而集群有三个broker，只利用的33%集群资源，这时需要增加partition

给test3增加两个partition，不重启则不会往新增的partition写数据。需要使用脚本或kafka-manager进行reassign partition

实验2

如果broker1宕机，会为该partition选举一个新的leader，如图选择broker2，这时broker2成为该topic两个partition 0,partition 2的leader，负责两个partition的写请求，压力增大，有broker skew偏移。重启broker1，发现broker2仍是master，这时需要手动执行脚本或使用kafka-manager的 Manual Partitions  Assignments /Generate Partition Assignments 生成重新分配计划在执行 prefferred Replica Election  进行重新选举，使partition2 的leader为broker1负载均衡（leader broker才能消息写能力）。

实验3

broker1 broker2均宕机，如图 partition0,1从ISR选的leader都是broker0，partition2原来的leader为2，Broker1 broker2宕机从ISR找不到新的leader，显示为-1，即这时的partition2 不能写入新的消息。

概念：ISR（in sync replica同步副本），同步fetch leader的消息并返回ack.>>>>>详见

实验4

broker1 broker2恢复，如果不手动进行Manual Partitions  Assignments /Generate Partition Assignments ——> prefferred Replica Election,过几分钟也会自动Rebalance

监控cpu 、内存、堆、线程等可视化监控：启动脚本暴露一个JMX端口export JMX_PORT=9999 ，使用jvisualvm连接即可