kafka
时间总在嘲笑i
这个作者很懒,什么都没留下…
展开
-
kafka重复消费和数据丢失问题
其实造成这两个问题的原因很类似,所以解决方式也比较类似,下面我们来看看这两个问题。 重复消费 造成原因 commit的方式不合理。当我们从broker读取消费先处理在commit offset时,如果在commit前发生问题(如网络中断等),那么consumer无法知道这条消息是否已经消费。 解决方案 其实解决方案也比较简单,我们只要把offset和输出数据绑定在一起即可,要么一起成功,要么...原创 2020-01-16 22:58:58 · 377 阅读 · 0 评论 -
kafka架构
kafka是什么? kafka是一个分布式的消息系统(发布/订阅) kafka的特点 以时间复杂度为O(1)的方式提供消息持久化能力,即对TB级以上的数据进行访问也能达到常数时间复杂度的访问性能 解耦 顺序性:保证分区内有序 可恢复性(容错性):部分组件的失效,不会导致影响整个系统 异步通信:允许用户把消息发生到消息队列中,并不立即处理 能同时实现离线和实时处理 kafka架构图 ...原创 2020-01-16 22:43:23 · 163 阅读 · 0 评论