1.背景描述
kafka经常用于实时数据处理时,数据流转的工具,由于实时数据通常有时效性,所以kafka中的数据通常只在一定时间段内有用,这就需要定期清除kafka中的数据。
2.设置方法
2.1 进入配置文件目录
cd ../kafka/config
2.2 编辑配置文件server.properties
vim server.properties
2.3 同步所有节点
将所有节点的配置文件均改为你需要的数值,注意不要直接同步,同步的话,节点配置会覆盖,大致集群故障。
3.扩展知识
清除策略还可以按文件大小、偏移量等方式设置,但最常用的是按过期时间设置,有兴趣的可以研究一下其他策略,由于不常用,这里不做介绍。