Kafka日志及Topic数据清理

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。

  在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。

一、Kafka消费Offset

     在通过Client端消费Kafka中的消息时，消费的消息会同时在Zookeeper和Kafka Log中保存，如上图红线所示。

     当手动删除Kafka某一分片上的消息日志时，如上图蓝线所示，此是只是将Kafka Log中的信息清0了，但是Zookeeper中的Partition和Offset数据依然会记录。当重新启动Kafka后，我们会发现如下二种情况：

     A、客户端无法正常用消费；

     B、在使用Kafka Consumer Offset  Monitor工具进行Kafka监控时会发现Lag(还有多少消息数未读取(Lag=logSize-Offset))为负数；其中此种情况的删除操作需要我们重点关注，后面我们也会详细介绍其对应的操作步骤。

   一般正常情况，如果想让Kafka客户端正常消费，那么需要Zookeeper和Kafka Log中的记录保持如上图黄色所示。

  Kafka具体消费原理可以参见:http://blog.xiaoxiaomo.com/2016/05/14/Kafka-Consumer%E6%B6%88%E8%B4%B9%E8%80%85/