Kafka 在zookeeper中的节点结构、日志结构

最新推荐文章于 2024-06-24 16:48:13 发布

qq_26182553

最新推荐文章于 2024-06-24 16:48:13 发布

阅读量824

点赞数

分类专栏： kafka/flume/sqoop

本文链接：https://blog.csdn.net/qq_26182553/article/details/75048550

版权

本文介绍了Kafka如何在Zookeeper中组织节点结构，包括/brokers, /consumers和/controller等目录。同时，详细讲解了Kafka的日志存储结构，如topic-分区ID的目录形式。还探讨了Kafka的副本机制、consumer group与partition的关系，以及消费者在Zookeeper中保存的offset信息。" 86589665,5881120,数据加密技术实践：RSA与AES详解,"['加密技术', '数据安全', '对称加密算法', '非对称加密算法']

摘要由CSDN通过智能技术生成

登录zookeeper

zkCli.sh -server centos1:2181

创建topics mytopic

kafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181 --replication-factor 3 --partitions 2 --topic mytopic

zookeeper节点结构

/controller data={"version":1,"brokerid":2,"timestamp":"1495002238024"} //id=2的broker是leader

/controller_epoch data=1

/brokers

/brokers/ids //实时维护active的brokers

/brokers/ids/0

/brokers/ids/1

/brokers/ids/2

/brokers/topics

/brokers/topics/mytopic/partitions/0/state data={"controller_epoch":7,"leader":1,"version":1,"leader_epoch":0,"isr":[1,0,2]} //其中leader指的是该partition的leader，每个partition都有一个leader。"isr":[1,0,2]表示该partition有三个replication，分别位于1,0,2三个broker上。leader维护了其它副本的同步信息。