kafka磁盘爆满

1，在cm上查询kafka数据目录：

log.dirs：/var/local/kafka/data

2，查看目录下各子目录占用空间大小情况，过滤上G的topic数据

du -sh * | sort -nr | grep 'G' | grep 'channel'

3，修改topic数据的的有效期命令，优化

kafka-topics --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=86400000

 

4，删除kafka相关的数据目录，删除之前，先关闭写入kafka的相关服务如flume，删除磁盘占用空间过大的数据目录，此处主要是flume_*_channel_*所占用的目录

rm -rf /var/local/kafka/data/flume_packet_channel-*

 

5，删除kafka topic

（1）查询flume管道相关的channel：kafka-topics --list --zookeeper 10.11.1.1:2181,10.11.1.2:2181

<