kafka 的 Log Compaction 简单使用测试
最近公司需要对存储在kafka的日志做一些特殊处理,要求对每个设备只存储最后一条日志数据,也就是需要根据key进行日志更新和保留,删除重复的key日志数据,因此想到了kafka的Log Compaction。
通过kafka官网能了解到Log Compaction是什么?能做什么?官网介绍的使用其实很简单,只需进行参数配置即可。但是具体的实施并不那么简单,我在测试中也是出现了很多问题,反复琢磨后才...
原创
2019-10-08 14:38:47 ·
912 阅读 ·
0 评论