kafka
文章平均质量分 75
JYY_JYY_
这个作者很懒,什么都没留下…
展开
-
kafka读书笔记3——Consumer消费者
1. 传递保证语义的三个级别At most once:消息最多被消费一次 消息可能丢失,但不可能重复消费 发生场景 消费者拉取完消息后,先提交offset,再执行业务逻辑 如果提交完offset后宕机,则业务逻辑没执行,这一部分消息就丢失了 At least once:消息最少被消费一次 消息绝不会丢,但可能重复消费 发生场景 消费者拉取完消息后,先执行业务逻辑,再提交offset 如果执行完业务逻辑后宕机,offset没提交,下次会再执行一次业务逻...原创 2021-01-20 10:57:28 · 166 阅读 · 0 评论 -
kafka读书笔记2——Producer生产者
所用版本:<version>2.2.0</version>架构图 KafkaProducer send()方法 ProducerInterceptor 拦截器 Metadata 元数据 Serializer & Deserializer 序列化和反序列化器 Partitioner 分区 RecordAccumulator 暂存器 BufferPool 内存管理类 Sender1. 架构图Producer中有几个线程?——> .原创 2021-01-19 16:22:27 · 95 阅读 · 0 评论 -
kafka读书笔记1——概念
消息 消息是Kafka中最基本的数据单元 消息由key和value构成,它们都是byte数组 key:包含同一key的消息会全部写入同一分区中,key可以是null value:value是消息的真正有效负载的数据 Topic & partition & Log Topic:每个Topic至少一个partition,每个partition对应一个offset offet只保证在同一partition内是有序的 partition 分区是kafk原创 2021-01-19 13:42:18 · 149 阅读 · 0 评论