记一次kafka数据爆满的清理记录

kafka服务某个节点最近总是挂掉，今天是挂掉后起来立马挂掉
查看server.log
有报错记录：shutdown broker because all log dirs in have failed

然后查看存储目录
确实满了

其中某个主题每个分区占了200G以上

查看这个主题的配置

> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe

没有显示相关设置，那使用的就是broker的server.properties中相关配置，查看了一下是一个月
修改成7天

> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic
    --alter --add-config retention.ms=604800000

更多详细配置推荐这个大佬的博客：https://www.orchome.com/669

修改后确实等了一会，可以观察到数据占用磁盘空间变小了很多

至于挂掉的节点，因为没有空间导致zookeeper和kafka服务都无法启动，所以直接删除这个topic的某个分区，因为还有副本，所以也不会有太大影响

重启kafka服务后，会发现kafka疯狂的复制出那个被删掉的主题分区，导致kafka提供的服务不稳定
一段时间后就没有问题了。