CDH6 kafka如何彻底删除topic及数据

标题CDH6 kafka如何彻底删除topic及数据

删除kafka topic及其数据，发现都会偶然出现无法彻底删除kafka的情况。本人亲测并总结了以下流程。

第一步：

设置 auto.create.topics.enable = false，默认设置为true。如果设置为true，则produce或者fetch不存在的topic也会自动创建这个topi。同时需要认真把生产和消费程序彻底全部停止。

第二步：

在CDH界面，找到kafka的配置，或者server.properties设置delete.topic.enable=true。如果不设置的话，调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion）。

第三步：

调用命令删除topic：

kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】

第四步：

删除kafka存储目录（server.properties文件log.dirs配置，默认为"/data/kafka-logs"）相关topic的数据目录，CDH中找到log.dirs配置，打开目录并将要删除的topic清理掉，所有节点都要清理。如果设置了多个目录，也要全部清理。

第五步：

由于kafka的元数据由zookeeper管理，所以找一台部署了zk的服务器并进到zookeeper的bin目录下，使用命令：

bin/zkCli.sh

登录到zk shell，然后找到topic所在的目录：

ls /brokers/topics

找到要删除的topic，然后执行命令：

rmr /brokers/topics/【topic name】

如果topic 是被标记为 marked for deletion，执行命令

ls /admin/delete_topics

找到要删除的topic，然后执行命令：

rmr /admin/delete_topics/【topic name】

至此，topic及数据已经被彻底清理掉了。

第六步-验证：

验证topic是否被删除掉，调用命令：

kafka-topics.sh --list --zookeeper 【zookeeper server:port】

会发现，要删除的topic已经不存在了。

注：完成以上操作后，重启下zk和kafka集群。