Kafka集群起动完成后自动关闭问题

大家好, 我是上白书妖!

知识源于积累,登峰造极源于自律

今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正

如上如可以看到,hadoop103中的kafka没有启动,因为我是使用群起脚本启动的,我不是很确定到底是没有启动还是启动完成后自动关闭了,所以我一个个启动,进行测试,我先启动start-dfs.sh ,在启动zookeeper,然后在启动kafka集群,如下图:

结果发现我hadoop103上的kafka是启动了的,但是过了一会在查看进程的时候发现自动关闭了,如下图:

但是发现这次自动停止的是我的hadoop104上的kafka,这就卧槽了

所以我检查了我kafka的的myid,想看看是不是hadoop103的myid和hadoop104myid相同导致二者不可同时存在,结果当然不是,这种低级错误我还是不会犯的,如图:

原因是:

因为每次启动都得先启动zookeeper,因为kafka启动都依赖zookeeper,所以想是不是问题出在依赖的zookeeper上?因为我查了kafka的日志,也没报错,所以我想是不是kafka依赖zookeeper这一环节出了问题.后来我想了一下,我怀疑是我先关闭了zookeeper再关了kafka导致了这种问题,或者我刚关闭kafka集群就关了zookeeper的脚本出了问题,会不会是kafka刚关闭,但hadoop103
,hadoop104并没有完全关闭呢?
就是因为kafka103 kafka104整个退出的比较慢,但是kafka还没有退出掉,zookeeper就已经退出掉了,就会出现下一次kafka启动不了了.因为kafka在退出的时候,他会在zookeeper底下的ids下的0.1.2这种东西删掉,会把这种临时节点删掉.如果你zookeeper先退出,但是zookeeper不会去删除这种西,zookee
per下次启动时,这种东西还会被使用,然后你再去启动kafka,kafka再去拿着id去注册,发现已经存在了,所以就会起不起来.

解决方式:
删除你启动不起来的那个虚拟机上zookeeper上的version-2,如图

重新启动集群:

查看是否启动:

上白书妖结束寄语:

知识源于积累,登峰造极源于自律