【Kafka】offset策略 客户端原理

1.消费者本地offset

Kafka consumer会在本地维护每一个分区的消费offset，然后再发送拉取请求的时候，会把分区对应的本地offset发送给broker，broker按照请求里的offset来返回消息，broker不会维护每一个客户端的消费进度。但是broker会维护partition级别的offset，这样新的consumer第一次消费或者再均衡消费时，就可以根据这个offset来消费了。

 

2.那broker又是如何维护paitition级别的offset呢？

每一个comsumer可以发送自己的本地offset给broker，这个可以也可以不在poll时，取决于配置的策略。通过这种方式就可以让broker记录每一个paitition的消费位置了。

消费者发送offset的策略有三种：

1）自动提交，会在poll时发送，并且根据配置的时间间隔；

2）手动同步提交，会阻塞；

3）手动异步提交；其实1）也是异步的。

 

3.offset策略

好，至此，如果说broker已经有了patition的offset，那么新的消费者进来仍然有消费的策略。

earliest：从最开始消费；

latest：从最后的offset消费；如果broker没有维护partition级别的offset，那么这个策略就无法实现了。

当然，如果broker也没有offset数据，那这种情况就只能按照earliest策略来了。