![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 92
一念花开_
这个作者很懒,什么都没留下…
展开
-
Kafka消费者重复消费数据以及漏消费问题
为什么消费者会重复消费消息、漏消息?我们先了解一下我们是怎么消费消息的,一个消费者启动时,offset会被初始化为0,这代表我们从0开始消费,每消费一条消息,offset会递增一次。如果一直正常消费(消费者不故障)是不会导致消息重复消费以及漏消息的。以下的情况会漏消费:...原创 2021-11-23 16:09:14 · 3327 阅读 · 2 评论 -
kafka的消费者分区分配策略
kafka有两种分区分配策略-RoundRobin与Range。一、RoundRobinRoundRobin策略很简单~假设我们有三个Topic10个Partition,上图!不难看出轮询策略是将partition当做最小分配单位,将所有topic的partition都放入一个列表中。然后为消费者一人一轮的分配partition,如果数量不能平均分配将会由前几个consumer多消费一些partition。这种分配方式的优点是每个消费者消费数量最大差值为1。二、RangeRan.原创 2021-11-22 14:52:57 · 9152 阅读 · 5 评论 -
kafka生产者的副本同步策略以及数据一致性、丢失消息、消息重复等问题的一些看法
生产者ISR 1. ISR的由来 2.什么是ISR? ISR全称In-Sync-Replica-Set,意思是与Leader保持同步的的follower集合,当一个Partition写一条数据时,就需要Followers来同步此数据, ...原创 2021-11-19 15:08:34 · 1380 阅读 · 0 评论 -
Kafka的架构模型以及工作流程
一、前言 由于工作需要,自学kafka,以下是鄙人对kafka的一些认知,分享与各位道友,如有错误请指正,欢迎各位道友一起探讨。 二、简介 1.Kafka是什么? Kafka是基于 发布-订阅模式的分布式流处理平台(消息队列)。 2.我们为什么要选择Kafka? Kafka用于流式数据的处理,被广泛应用于大数据实时计算、日志采集领域(我将其理解为数据量大就用kafka?.?) 三、Ka...原创 2021-11-18 16:43:20 · 889 阅读 · 0 评论