windows搭建kafka环境

windows搭建kafka环境

• 安装步骤

  • 1、首先下载win版kfk。然后解压，注意目录不能太深，否则win命令行报错，最好将kfk解压后放到根目录。

  • 2、配置自带zk

    # zookeeper.properties 
    dataDir=D:/zkdata
    

  • 3、配置kfk

    # server.properties
    listeners=PLAINTEXT://localhost:9092
    log.dirs=D:/kfklog
    zookeeper.connect=localhost:2181
    

• 启动步骤

  • 1、启动自带zk

    .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
    

  • 2、启动kfk

    .\bin\windows\kafka-server-start.bat .\config\server.properties
    

• 新建topic

  .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --topic topic_name --partitions 1 --replication-factor 1
  

• 列出所有topic

  .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
  

• 增加topic分区数

  .\bin\windows\kafka-topics.bat --alter --bootstrap-server localhost:9092 --topic topic_name --partitions 50
  

• 删除topic。注意配置delete.topic.enable=true

  .\bin\windows\kafka-topics.bat --delete --bootstrap-server localhost:9092 --topic topic_name
  

• 生产数据

  .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_name
  

• 消费数据

  .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_name
  

• 查看topic信息

  .\bin\windows\kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic topic_name
  

• 查看某分区偏移量

  .\bin\windows\kafka-run-class.bat kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic_name --time -1 --partitions 0
  

• 查看所有分区偏移量

  .\bin\windows\kafka-run-class.bat kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topic_name --time -1
  

• 注意，上述命令如果执行失败，可能是kfk版本过低，尝试将--bootstrap-server localhost:9092替换成--zookeeper localhost:2181或者--broker-list localhost:9092，并注意使用空格而不是tab键。

---