![](https://img-blog.csdnimg.cn/20200808161003311.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
Kafka。。。
一个写湿的程序猿
练习两年半的程序猿。。。只因(ji)你太美!!!
初识不知文中意,再见已是文中人
展开
-
Kafka-消费者组三种分区分配策略Range Assignor、RoundRobin Assignor、Sticky Assignor详细解析
Kafka消费者组三种分区分配策略roundrobin,range,StickyAssignor文章目录1. Range(默认策略)2. RoundRobin3. StickyAssignor一个consumer group中有多个consumer,一个 topic有多个partition,所以必然会涉及到partition的分配问题,即确定那个partition由哪个consumer来消费。Kafka有三种分配策略,roundrobin Assignor,range Assignor,Sticky原创 2020-08-20 22:09:37 · 1560 阅读 · 0 评论 -
Kafka-Producer API,异步发送,分区器,同步发送,Consumer API,自动提交和手动提交offset
文章目录Producer API1 消息发送流程2 异步发送API3 分区器4 同步发送APIConsumer API1 自动提交offset2 手动提交offsetProducer API1 消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程main线程和Sender线程,以及一个线程共享变量RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator原创 2020-08-16 10:09:10 · 2085 阅读 · 1 评论 -
Kafka-高效读写数据,Zookeeper在Kafka中的作用,Kafka事务
文章目录Kafka高效读写数据1)顺序写磁盘2)应用Pagecache3)零复制技术Zookeeper在Kafka中的作用Kafka事务1 Producer事务2 Consumer事务(精准一次性消费)Kafka高效读写数据1)顺序写磁盘Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为省去了大量磁头寻址的时间。2)原创 2020-08-16 09:56:28 · 524 阅读 · 0 评论 -
Kafka-生产者分区策略、数据可靠性、Exactly Once,消费者消费方式、分区分配策略、故障处理
文章目录Kafka生产者1 分区策略2 数据可靠性保证3 Exactly Once语义3.3 Kafka消费者3.3.1 消费方式3.3.2 分区分配策略3.3.3 offset的维护3.3.5 故障处理细节Kafka生产者1 分区策略1)分区的原因(1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;(2)可以提高并发,因为可以以Partition为单位读写了。2)分区的原则我原创 2020-08-16 09:28:26 · 1957 阅读 · 0 评论 -
Kafka-工作流程,文件存储机制,索引机制,如何通过offset找到对应的消息
文章目录Kafka工作流程文件存储机制如何通过offset找到对应的消息?Kafka工作流程Kafka 中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于多个 log 文件,该 log 文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪原创 2020-08-14 20:14:51 · 4466 阅读 · 3 评论 -
Kafka-2.4版本安装部署集群,kafka基本命令行操作
第2章 Kafka快速入门文章目录第2章 Kafka快速入门2.1 安装部署(2.4版本)2.2 Kafka命令行操作2.1.2 Kafka 官网下载http://kafka.apache.org/downloads.html2.1 安装部署(2.4版本)2.1.1 集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka2.1.3 集群部署1)解压安装包[qinjl@hadoop102 softwar原创 2020-08-11 23:58:58 · 1212 阅读 · 0 评论 -
Kafka-概述,消息队列,基础架构
Kafka-概述,消息队列,基础架构文章目录Kafka-概述,消息队列,基础架构概述消息队列Kafka基础架构概述Kafka是一个分布式的基于发布 / 订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。消息队列1.2.1 传统消息队列的应用场景使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加原创 2020-08-10 23:00:14 · 740 阅读 · 0 评论