kafka
张月鹏
数据爱好者
展开
-
kafka offset 如何保证三种语义传递
kafka 提供三种语义的传递: 1至少一次 2至多一次 3精确一次 首先在 producer 端保证1和2的语义是非常简单的,至少一次只需要同步确认即可(确认方式分为只需要 leader 确认以及所有副本都确认,第二种更加具有容错性),至多一次最简单只需要异步不断的发送即可,效率也比较高。原创 2016-06-30 10:07:51 · 5551 阅读 · 0 评论 -
kafka consumer 如何设置每次重启时从最新数据开始读取
最近在做实时报警的机制,显然我需要程序每次重启时都读取最新数据。但是寻找了半天无论是kafka的java客户端还是python客户端都没有这样的设置参数。没办法只能自己实现了,思路有两种。原创 2017-10-25 16:22:53 · 16252 阅读 · 0 评论