Kafka学习笔记--Consumer的offset保存在哪里

前言

这两天看Kafka的文档,遇到一个问题,consumer的offset应该如何保存呢?

正文

参考这里

以前是放在Kafka里面,但是Kafka用作持久化是没问题的,但是用作频繁写并不是太适合,所以,Kafka后来把对offset的保存放在了一个topic里面。

关于这一点,在官网也得到了验证:

存放的位置,这里有提到:

而我查看了本地的目录,看到:

一共有50个目录,根据一个目录一个partition的原则来看,被分成了50个partition。这里有更加详细的介绍。这里就把它当做独立的一个topic来理解,大体就明白了,只是客户端在完成了怎样的工作,这个offset会被提交给这个topic,需要继续研究一下。

总结

通过查阅了多篇文章,基本搞明白了这个概念。这些资料,是通过翻阅了很多篇文章,研究过才筛选出来,里面沉淀了很多时间和功夫,分享出来,以飨别人(来给别的需要的人带来方便)。

参考

https://stackoverflow.com/questions/45686885/how-does-kafka-store-offsets-for-each-topic

http://wanwenli.com/kafka/2016/11/04/Kafka-Group-Coordinator.html 

https://cwiki.apache.org/confluence/display/KAFKA/Offset+Management

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值