kafka消费的三种模式_面试官：kafka如何保证数据可靠性？

最新推荐文章于 2024-06-09 19:59:57 发布
最新推荐文章于 2024-06-09 19:59:57 发布
阅读量4.6k 收藏 10
点赞数
文章标签： kafka消费的三种模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33513255/article/details/112076329
版权

推荐学习

  • 分布式/Spring/高并发/设计模式等问个遍，网易3面绝了
eb918a0aa0a3b40bf218d7cd48901141.png

一、必须知道的专业名词

kafka中，每个partition可以有多个副本(Replica)，分为leader、follower，正常情况下，客户端只向leader发送数据、leader消费数据，follower的出现是为了保证kafka数据的高可用和一致性，也是作为灾备的存在。再保证高可用的过程中，leader与follower进行数据同步时，产生的如下一些专业术语，都是基于partition之内的概念。为了方便理解，假设以下所有的描述，都是基于某个只有一个partition，partition里面有3个副本的topic。

  • HW(High Watermark)俗称高水位，consumer能够消费kafka的最大offset
  • LEO (Log End Offset)已经写入kafka log中日志的最大offset值加1
  • AR (Assigned Replicas) kafka 分区的所有副本
  • ISR (In Sync Replicas) 在kafka中，所有与leader保持数据同步的副本(
最低0.47元/天 解锁文章
Feekr君
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka消费的三种模式_快速认识Kafka
weixin_33567029的博客
12-03 1万+
1.Kafka是什么 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)。kafka的架构师jay kreps非常喜欢franz kafka,觉得kafka这个名字很酷，因此将linkedin的消息传递系统命名为完全不相干的kafka，没有特别含义。2.解决什么问题kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数...
Kafka入门三：几种消费方式
热门推荐
qq_35349490的博客
04-02 3万+
1.消费位移确认    Kafka消费者消费位移确认有自动提交与手动提交两种策略。在创建KafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。自动提交策略由消费者协调器（ConsumerCoordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交。手动提交需要由客户端自己控制偏移量的提交。   ...
Kafka原理
01-07
Kafka的复制和备份 关于分区的几个总结： 一个分区a有一个首领broker A，且a是首领分区 一个分区可以在多个broker中存在副本，此时这些副本都是复制的首领分区的内容，而且生产者和消费者操作分区时，必须是首领分区。 如果一个broker失效，而且该broker中有一个或者多个首领分区，那么其余包含这些首领分区副本的broker，会重新选举并接替这个broker中首领分区的领导权。对应的生产者和消费者也会重连到含有首领分区对应的broker上 如下图： 假设Broker1中的含有首领分区Partition-0，其余的Partition-0的都是副本，其余broker以此类推。如果此
kafka生产消费流程
最新发布
m0_62645012的博客
06-09 1289
1.生产者先从zookeeper的"/brokers/topic/主题名/partitions/分区名/state"节点找到该partition的leader。比如，消费者可以重置到旧的偏移量，重新处理之前已经消费过的消息；或者直接跳到最近的位置，从当前的时刻开始消费。kafka采用拉取模型，由消费者自己记录消费状态，每个消费者相互独立的顺序拉取消息。leader接收到所有的ISR中的Replica的ACK中，并向生产者返回ACK。broker进程上的leader将消息写入到本地log中。
Kafka内容总结
qq_45054784的博客
09-22 1万+
一、kafka的消费模式 Kafka的消费模式主要有两种：一种是一对一的消费，也即点对点的通信，即一个发送一个接收。第二种为一对多(发布/订阅模式)的消费，即一个消息发送到消息队列，消费者根据消息队列的订阅拉取信息消费。 发布/订阅模式：即利用Topic存储消息，消息生产者将消息发布到Topic中，同时有多个消费者订阅此topic，消费者可以从中消费消息，注意发布到Topic中的消息会被多个消费者消费，消费者消费数据之后，数据不会被清除，而是按照时间策略来删除，Kafka会默认保留一段时间，然后再删除。
Kafka基础
qq_54070501的博客
06-20 3066
Kafka
Kafka消费数据的几种方式
onway_goahead的博客
12-18 3462
https://blog.csdn.net/a2011480169/article/details/82795157 https://blog.csdn.net/wangshuminjava/article/details/80263512 一、按照topic和分区消费的划分：按照topic消费与按照topic分区消费 1、指定多主题消费 consumer.subscribe(Arr...
面试官：Kafka是什么，它有什么特性与使用场景？.doc
07-08
3. 分布式：Kafka 是一种分布式消息系统，可以部署在多个机器上，以提高系统的可靠性和可扩展性。 4. 基于 Zookeeper 協調：Kafka 使用 Zookeeper 来协调分布式系统，能够提供高可靠性的消息处理能力。 三、Kafka ...
17道消息队列Kafka面试题！.zip
09-26
4. **副本与容错**：Kafka使用副本机制保证数据可靠性，每个分区都有一个主副本和多个从副本。如果主副本失败，一个从副本将接管。 5. **Producers**：Java中的KafkaProducer API用于发送消息到Kafka。它支持同步和...
04_体验一下面试官对于消息队列的7个连环炮.zip
09-09
在IT行业中，消息队列（Message Queue，MQ）是一种常用于分布式系统中的组件，它能够有效地缓解...在实际应用中，还需要根据业务需求和系统特性选择合适的消息队列方案，并且考虑如何平衡性能、可靠性、复杂性等因素。
31_体验一下面试官可能会对分布式系统发起的一串连环炮.zip
09-09
其主要特性包括：透明性、可靠性、容错性、可扩展性和性能优化。 2. **CAP定理**： Consistency（一致性）、Availability（可用性）和Partition Tolerance（分区容错性）是分布式系统设计中的三个基本要素，但根据...
kafka基础笔记
01-20
基础概念 kafka是一个消息队列系统，不同的生产者和消费者，可以向kafka写入自己的数据，实现数据的流动；kafka解耦了生产者和消费者，它的ack机制保证了消息传递的可靠性，借助zookeeper等实现了分布式的消息队列。 生产者可以根据需要向不同的主题写入数据，为了减少累计的网络IO时间，可以把多个消息积累到一个批次中统一发送。 消费者可以组成消费者组的概念，消费者组可以订阅主题，kafka的offset机制保证了不同消费者组可以独立消费自己的消息，同时也保证了消息可以高效传递。消息也可以分批次读取。 客户端从kafka集群获取元信息，然后从元信息中解析出有关信息，关于元信息的内容，参
大数据之kafka消费者
柳小葱的博客
06-03 3035
🍒今天是端午节，先祝大家端午节快乐！上一期我们学习了kafka的broker部分主要介绍了kafka中的副本、kafka文件的存储的原理，以及kafka的高效读写的保证，今天我们来介绍kafka中的消费者原理，对往期内容感兴趣的小伙伴可以参考👇：🍑消费者作为kafka中最重要的部分，如何从主题中消费数据是我们重点关注的地方，话不多说，让我们开始今日份的学习吧！ 通常来说，消费者消费数据的方式有2种，一种是拉取数据的方式，另一种是broker主动推数据。kafka中，消费者采用的消费数据的方式是拉取数据...
kafka消费数据是怎么消费的,用的是什么方式?
东城庞太师
05-28 3177
Kafka消费数据的方式主要包含如下几种： 1、指定多主题消费 consumer.subscribe(Arrays.asList(“t4”，“t5”))； 2、指定分区消费 consumer.assign(list)； 3、手动修改偏移量 consumer.commitSync()； //提交当前消费偏移量 consumer.commitSync(Map<TopicPartition, OffsetAndMetad...
【Kafka】kafka消费者的三种模式（最多/最少/恰好消费一次）&生产者幂等性
m0_45406092的博客
08-10 7649
文章目录概述回顾ack配置幂等性参考 概述 at most once(消费者最多收到一次消息，0--1次)：acks = 0 可以实现。 acks=0 保证producer往leader只发送一次，不管是否发送成功，因此可能丢数据，但不会重复发送 at least once(消费者至少收到一次消息，1--多次)：ack = all 或-1可以实现。 exactly once(消费者刚好收到一次消息)：at least once 加上消费者幂等性可以实现，还可以用kafka生产者的幂等性来实现。
kafka 查看待消费数据_Kafka入门三：几种消费方式
weixin_32836713的博客
02-01 742
1.消费位移确认Kafka消费者消费位移确认有自动提交与手动提交两种策略。在创建KafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交(默认)。自动提交策略由消费者协调器(ConsumerCoordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交。手动提交需要由客户端自己控制偏移量的提交。(1)自动提交...
大数据-kafka学习（五）——消费者
jizhibing的博客
04-14 2751
一、KAfka消费方式 1、pull（拉）模式： consumer 采用从broker中主动拉取数据， Kafka 采取这种方式 2、push（推）模式： Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。 Pull模式不足之处是，如果kafka没有数据，消费者可能陷入循环中，一直返回空数据。 二、消费者总体工作流程 三、消费者组 Consumer G.
Kafka消费者详解
晓晓的天空
04-03 4158
Kafka消费者详解
kafka java面试
06-01
4. Kafka Java如何保证数据的可靠性？ 5. Kafka Java如何处理数据丢失的情况？ 6. Kafka Java如何保证数据的顺序性？ 7. Kafka Java如何处理数据的重复性？ 8. Kafka Java的消费者组是什么？ 9. Kafka Java的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值