本文介绍了Kafka从0.10.1.1版本开始，将消费offset默认存储在__consumer_offsets Topic中的变化，以及这一改变的原因。讨论了Kafka的三种语义传递——至少一次、至多一次和精确一次，并探讨了如何在消费者端控制offset以实现不同的语义。项目实践中通常选择最少一次消费策略，确保不遗漏消息。
Kafka的offset用于记录消费者消息消费的情况。
1.概述
Kafka版本[0.10.1.1]，已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。其实，早在 0.8.2.2 版本，已支持存入消费的 offset 到Topic中，只是那时候默认是将消费的 offset 存放在 Zookeeper 集群中。那现在，官方默认将消费的offset存储在 Kafka 的Topic中，同时，也保留了存储在 Zookeeper 的接口，通过 offsets.storage 属性来进行设置。
2.内容
其实，官方这样推荐，也是有其道理的。之前版本，Kafka其实存在一个比较大的隐患，就是利用 Zookeeper 来存储记录每个消费者/组的消费进度。虽然，在使用过程当中，JVM帮助我们完成了一些优化，但是消费者需要频繁的去与 Zookeeper 进行交互，而利用ZKClient的API操作Zookeeper频繁的Write其本身就是一个比较低效的Action，对于后期水平扩展也是一个比较头疼的问题。如果期间 Zookeeper 集群发生变化，那 Kafka 集群的吞吐量也跟着受影响。
在此之后，官方其实很早就提出了迁移到 Kafka 的概念，只是，之前是一直默认存储在 Zookee
最低0.47元/天 解锁文章
342
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
