kafka源码解析之十五客户端如何创建topic

最新推荐文章于 2025-10-24 14:54:02 发布

原创

最新推荐文章于 2025-10-24 14:54:02 发布 · 7.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #源码

本文深入探讨了Kafka客户端如何使用`kafka-topics.sh`脚本来创建Topic，详细解析了TopicCommand类的工作原理。重点在于理解创建过程中分区分配的策略，即从随机位置开始，通过轮询方式确定每个分区的第一个副本位置，接着分配剩余副本，确保它们紧跟第一个副本。举例说明，在5个节点的Kafka集群中创建一个拥有10个分区、副本数为3的`test`主题，展示了可能的副本分配情况。

主要存在两种方式:即自动创建还是手动创建。当配置auto.create.topics.enable=true时，则如果kafka发现该topic不存在的话，会按默认配置自动创建topic。当配置auto.create.topics.enable=false时，客户端需要提前创建好topic，才可以正确地往topic发送数据，创建topic的命令如下：

bin/kafka-topics.sh --create --zookeeperlocalhost:2181 --replication-factor [副本数目]

--partitions [分区数据] --topic[topic名字]

查看kafka-topics.sh脚本：

exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand $@

最终执行的是TopicCommand类：

object TopicCommand {
  def main(args: Array[String]): Unit = {
    val opts = new TopicCommandOptions(args)
    if(args.length == 0)
      CommandLineUtils.printUsageAndDie(opts.parser, "Create, delete, describe, or change a topic.")
    // should have exactly one action
    val actions = Seq(opts.createOpt, opts.listOpt, opts.alterOpt, opts.describeOpt, opts.deleteOpt).count(opts.options.has _)
    if(actions != 1) 
      CommandLineUtils.printUsageAndDie(opts.parser, "Command must include exactly one action: --list, --describe, --create, --alter or --delete")
    opts.checkArgs()
    val zkClient = new ZkClient(opts.options.valueOf(opts.zkConnectOpt), 30000, 30000, ZKStringSerializer)
    try {
      if(opts.options.has(opts.createOpt))//如果是create请求，则走这个分支，其它类似
        createTopic(zkClient, opts)
      else if(opts.options.has(opts.alterOpt))
        alterTopic(zkClient, opts)
      else if(op

最低0.47元/天解锁文章