![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka基本知识点
文章平均质量分 90
公众号:义笔记
公司坐标北京百度,如需内推请联系公众号:义笔记,尽量按时更新文章,感谢大家关注
展开
-
5.Kafka客户端事务原理
kafka 客户端事务实现原理 kafka事务在流处理中应用很广泛,比如原子性的读取消息,立即发送消息,如果中途出现错误,支持会滚操作。这里会讲解一下Kafka事务是如何实现的。 Producer顶层实现 事务的客户端中,只能是Producer(KafkaProducer的顶层实现) public interface Producer<K, V> extends Closeable { //事务初始化,包括申请 producer id void initTransactions(原创 2021-06-25 01:37:05 · 6154 阅读 · 4 评论 -
4.Sender#run源码分析
typora-root-url: ./2.producer设计分析 typora-copy-images-to: ./2.producer设计分析 4.Sender#run源码分析 上节咱们讲解了RecordAccumulator收集器再收集消息的过程,咱们整体回顾一下: 生产者发送的消息现在客户端缓存到RecordAccumulator.batches中,等到一定时机再由发送线程Sender批量的写入到Kafka集群中,生产者每生产一条消息,就向batches中追加一条消息,追加方法的返回值表示批记录.原创 2021-03-03 13:59:02 · 6248 阅读 · 0 评论 -
3.Producer设计分析之RecordAccumulator
typora-root-url: ./2.producer设计分析 typora-copy-images-to: ./2.producer设计分析 2.Producer设计分析之RecordAccumulator 上节讲解了大部分kafka的实现原理,后续我们会逐步深入到kafka源码中体验实现细节,如果分析的有问题可以在评论区进行讨论. 类图 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SAOlZVXn-1612194471627)(/image-2021020120.原创 2021-02-01 23:50:38 · 6255 阅读 · 5 评论 -
2.RecordAccumulator之BufferPool设计
typora-root-url: ./2.producer设计分析 typora-copy-images-to: ./2.producer设计分析 RecordAccumulator之BufferPool设计 上节我们讲解了kafka基本概念已经部分原理,之后我们将要从Producer->Brokers->Consumer分别进行分析,Producer首先要讲解的就是RecordAccumulator是如何实现队列,并对消息进行缓存的.本节我们先了解BufferPool是如何分配资源的. B.原创 2021-01-19 01:19:53 · 6401 阅读 · 0 评论 -
1.kafka基础知识介绍
1.「kafka源码分析」kafka基础知识介绍 kafka是一个分布式流处理平台,具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。那这意味着什么呢? 我们知道流处理平台又以下三种特性: 1.可以让你发布和订阅的流式记录,这一方面与消息队列类似. 2.可以存储流式的记录,并且又较高的可用性. 3.可以在流式记录产生时就进行处理(实时性) Kafka适合什么样的场景呢? 熟悉它的都知道,可以采用kafka做消原创 2021-01-13 20:41:56 · 6411 阅读 · 0 评论