kafka清理
leng_leng_011
Over and over again
展开
-
KAFKA __consumer_offsets 清理
KAFKA 的TOPIC __consumer_offsets 的清理 生产环境因kafka日志数据量过大,导致磁盘空间占用满了,通过查看发现kafka的日志储存目录kafkadata占用90%的存储。 再进一步查找,发现目录下好多__consumer_offsets 生成的储存文件,每个文件1GB。 查找了一下kafka配置,发现kafka对部分topic的清理策略做了特殊处理,所以导致我们自己配置的清理策略未生效。查看现有的__consumer_offsets 清理策略./kafka-con原创 2020-07-02 17:59:21 · 5924 阅读 · 0 评论 -
kafka 清理策略配置
记一次生产KAFKA数据 清理策略的调整 在网上查了好多资料,都说kafak默认清理是7天,但实际生产环境数据一直在堆积,没有清理。然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有:##保留时间log.retention.hours=72##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的segmentlog.roll.hours=72##Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以原创 2020-07-02 17:29:21 · 1627 阅读 · 0 评论