kafka源码解析之十五客户端如何创建topic

最新推荐文章于 2024-09-07 17:17:49 发布

亮亮-AC米兰

最新推荐文章于 2024-09-07 17:17:49 发布

阅读量6.9k

点赞数

分类专栏：源码解析 kafka kafka源码解析文章标签： kafka 源码

本文链接：https://blog.csdn.net/wl044090432/article/details/51121479

版权

本文深入探讨了Kafka客户端如何使用`kafka-topics.sh`脚本来创建Topic，详细解析了TopicCommand类的工作原理。重点在于理解创建过程中分区分配的策略，即从随机位置开始，通过轮询方式确定每个分区的第一个副本位置，接着分配剩余副本，确保它们紧跟第一个副本。举例说明，在5个节点的Kafka集群中创建一个拥有10个分区、副本数为3的`test`主题，展示了可能的副本分配情况。

摘要由CSDN通过智能技术生成

主要存在两种方式:即自动创建还是手动创建。当配置auto.create.topics.enable=true时，则如果kafka发现该topic不存在的话，会按默认配置自动创建topic。当配置auto.create.topics.enable=false时，客户端需要提前创建好topic，才可以正确地往topic发送数据，创建topic的命令如下：

bin/kafka-topics.sh --create --zookeeperlocalhost:2181 --replication-factor [副本数目]

--partitions [分区数据] --topic[topic名字]

查看kafka-topics.sh脚本：

exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand $@

最终执行的是TopicCommand类：

object TopicCommand {
  def main(args: Array[String]): Unit = {
    val opts = new TopicCommandOptions(args)
    if(args.length == 0)
      CommandLineUtils.printUsageAndDie(opts.parser, "Create, delete, describe, or change a topic.")
    // should have exactly one action
    val actions = Seq(opts.createOpt, opts.listOpt, opts.alterOpt, opts.describeOpt, opts.deleteOpt).count(opts.options.has _)
    if(actions != 1) 
      CommandLineUtils.printUsageAndDie(opts.parser, "Command must include exactly one action: --list, --describe, --create, --alter or --delete")
    opts.checkArgs()
    val zkClient = new ZkClient(opts.options.valueOf(opts.zkConnectOpt), 30