kafka数据量快速循环增加删除问题

问题现象

1、监控观察一个主题数据量的变化，数据量会持续增加然后删除减少，然后再持续增加然后再删除减少，一直循环

2、观察日志：rolled......  scheduling......  deleting.......  也是这样对一个主题一直循环

原因解释

首先成功写入kafka了，只是写入后很快就被删除了。这里有几个原因。

1、kafka配置了log的保留时间很短或者保留大小很小，所以就会很快就被删除，如果这样，属于正常范围。

2、如果保留时间较长，大小较大，还是这样的情况，就是不正常的情况了，也不是我们希望的情况了。这种情况是因为消息的时间戳在log配置时间之外，即消息的最后写入时间错误，所以检查到了就会马上删除

下面主要是解决第二种不正常的情况

问题解决

修改主题的配置

bin/kafka-configs --zookeeper localhost:2181 --entity-type topics --entity-name topicName --alter --add-config message.timestamp.type=LogAppendTime
//我使用的是confluent 使用纯kafka对应更改

意思：修改这个主题的消息写入是的时间戳采用系统的当前时间。时间戳不之后就正常删除了