前言
今天尝试在Liunx环境一下kafka集群方便后续学习下kafka,准备了三台服务器。。。
总体来说集群搭建不算复杂,但搭建过程中出了点小问题,可能就我这边会犯吧。。 这里记录下加深点印象
问题一 :kafka-server-start.sh命令启动kafka后创建topic不成功,一直提示Broker不可用
原因分析:
其实原因就是配置文件有误导致kafka没启动成功,因为是后台启动开始一直没反应过来
创建topci的命令是这个
kafka-topics.sh --create --bootstrap-server host117:9092,host118:9092,host119:9092 --topic topic777 --partitions 3 --replication-factor 2
后面查了下日志,找到问题所在(zk路径中间是用逗号分割的)
问题二 :kafka-topics.sh命令启动kafka后创建topic有一个节点始终没有分配到分区
原因分析:
其实还是同样的问题,我认为的那台没分配到分区的节点,实际上还是没有启动,因为topic实际能创建成功开始没发现这个问题,后面细看下其中有个节点没有分配到分区,后面才发现问题了,原因是配置文件中的broker.id 重复了,导致其中一个节点没有启动成功
还是前面的topic创建命令,创建了3个分区,副本因子为2的topic,但实际分区都只分配到117,118节点上
kafka-topics.sh --create --bootstrap-server host117:9092,host118:9092,host119:9092 --topic topic777 --partitions 3 --replication-factor 2
最后发现配置的broker.id重复了导致119节点启动失败了
当然这也是看日志之后才发现是这里出问题了
所以如果发现有这种启动失败的情况,首先还是要看下启动日志
修改下id,重新启动下119节点,再创建一个topic 可以看到分区就正常分布了