![](https://img-blog.csdnimg.cn/20210522094951815.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 56
kafka
响彻天堂丶
那万一赢了呢?
展开
-
Kafka 索引查找、文件存储、清除策略
Topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断 追加到该log文件末端,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号,例如:hello_world_topic-0。那么日志一旦超过了设置的时间,怎么处理呢?原创 2022-09-23 14:30:45 · 784 阅读 · 0 评论 -
kafka 选举机制原理解析
1 Controller 在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。 (1) 当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。 (2) 当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。 (3) 当使用kafka-topics.sh脚本为某个topic增加分区数量时,同样还是由控制器负责让新分区被其他节点感.原创 2021-05-26 15:11:46 · 2427 阅读 · 0 评论 -
kafka docker搭建kafka集群
1 环境概述 192.168.38.50 zookeeper 192.168.38.51 kafka 192.168.38.52 kafka 192.168.38.53 kafka 2 docker 安装zookeper #下载镜像 docker pull zookeeper #运行 docker run --name zookeeper \ -v /usr/local/zookeeper:/data \ -p 2181:2181 \ -d zookeeper #查看 docker ps 3 安原创 2021-05-22 11:19:54 · 193 阅读 · 0 评论