![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
Kafka
大数据点滴
不忘初心,方得始终。
展开
-
Kafka中groupid和auto.offset.reset的关系
消费组和偏移量的关系原创 2024-04-03 11:48:41 · 498 阅读 · 1 评论 -
Kafka auto.offset.reset值详解
https://blog.csdn.net/lishuangzhe7047/article/details/74530417原创 2020-10-14 00:58:53 · 5312 阅读 · 0 评论 -
Kafka命令行操作
1)查看当前服务器中的所有topic[Mark@hadoop102 kafka]$ kafka-topics.sh --list --bootstrap-server hadoop102:9092[Mark@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --list2)创建topic[Mark@hadoop102 kafka]$ kafka-topics.sh --create --bootstra原创 2020-08-19 23:14:41 · 3711 阅读 · 0 评论 -
kafka log文件之存储原理和offset原理
1、Partition中的分段存储Segment一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定,控制每个segment的大小)2、Partition中的Segment文件的数据结构接下来看下segment的存储结构segment file组成:由2大部分组成,分别为index file和data file,此2个文件一一对应,成对出现,后缀”.index”和“.log”分别表示为segment索引文件、数据文件.segment文件命名规转载 2020-08-06 23:23:42 · 4360 阅读 · 2 评论 -
深入解析Kafka消费者——提交和偏移量
KafkaConsumer(消费者)每次调用 poll()方法,它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录, 我们因 此可以追踪到哪些记录是被群组里的哪个消费者读取的。之前已经讨论过, Kafka 不会像其他 JMS 队列那样需要得到消费者的确认,这是 Kafka 的一个独特之处。相反,消 费者可以使用 Kafka来追踪消息在分区里的位置(偏移量)。我们把更新分区当前位置的操作叫作提交。那么消费者是如何提交偏移量的呢?消费者往一个 叫作 _consumer_offset 的特殊主转载 2020-08-06 10:06:31 · 3780 阅读 · 0 评论 -
Zookeeper在kafka中作用
一、leader 选举 和 follower 信息同步如上图所示,kafaka集群的 broker,和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。Producer 把数据上传到 Broker,Producer可以指定数据有几个分区、几个备份。上面的图中,数据有两个分区 0、1,每个分区都有自己的副本:0'、 1'。黄色的分区为 leader,白色的为 follower。leader 处理 partition 的所有读写请求,与此同时,.转载 2020-08-06 10:32:38 · 4050 阅读 · 0 评论 -
kafka分区副本机制
Kafka为分区引入了多副本(Replica)机制,通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同消息(在同一时刻,副本之前并非完全一样),副本之间是“一主多从”的关系,其中leader副本负责处理读写请求,follower副本只负责与leader副本的消息同步。副本处于不同的broker中,当leader副本出现故障时,从follower副本中重新选举新的leader副本对外提供服务。Kafka通过多副本机制实现了故障的自动转义,当Kafka集群中某个broker失效...转载 2020-08-06 00:23:11 · 3498 阅读 · 0 评论 -
Kafka架构深入
目录1 、Kafka工作流程及文件存储机制2、 Kafka生产者2.1 分区策略2.2 数据可靠性保证2.3 Exactly Once语义(数据既不重复也不丢失)3、 Kafka消费者3.1 消费方式3.2 分区分配策略3.3 offset的维护4、 Kafka高效读写数据5、 Zookeeper在Kafka中的作用6 、Kafka事务6.1 Producer事务6.2 Consumer事务(精准一次性消费)1 、Kafka工作流程及文件存储机制原创 2020-08-05 01:04:39 · 5077 阅读 · 0 评论 -
Kafka与消息队列的关联
1、消息队列的两种模式1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。 消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。2)发布/订阅模式(一对多,消费者消费数据之后不会清除消息)消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。 和.原创 2020-08-04 21:46:58 · 4071 阅读 · 0 评论