kafka日志文件保留及自动重置消费位移相关配置验证

最新推荐文章于 2024-07-22 14:48:22 发布

丑小鸭的天堂

最新推荐文章于 2024-07-22 14:48:22 发布

阅读量1.5k

点赞数 1

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/u010087627/article/details/111177560

版权

本文详细介绍了在不同Kafka配置下，当消费位移丢失或错误时，如何处理并验证auto.offset.reset策略的效果，包括latest、earliest和none三种情况，涉及到历史提交消费位移存在与否的多种场景。

摘要由CSDN通过智能技术生成

1 日志文件保留相关配置参数

NAME	DESCRIPTION	TYPE	DEFAULT	VALID VALUES
log.retention.bytes	日志文件大小超过该配置则删除	long	-1（no limit）
log.retention.hours	日志文件保存时间超过该配置则删除	int	168（7d）
log.retention.minutes	日志文件保存时间超过该配置则删除	int	null
log.retention.ms	日志文件保存时间超过该配置则删除	long	null
log.retention.check.interval.ms	检查是否有日志文件需要删除区间	long	300000（5m）	[1,…]

NAME	DESCRIPTION	TYPE	DEFAULT	VALID VALUES
auto.offset.reset	当消费者没有提供offset或者提供的offset越界（比如offset处的日志数据已经过期删除或者大于当前最大offset等等）时的处理策略： earliest：从头开始消费 latest: 从尾开始消费 none：抛异常如果消费者组没有已提交的offset other：抛异常	string	latest	[latest, earliest, none]