Kafka安装、配置和使用

一. 下载

注意：Kafka安装文件中包含zookeeper

打开Kafka的网站，选择适合的版本进行下载。

后缀 .tgz 格式文件兼容Windows系统，可以正常运行

二. 配置

1. 启动Zookeeper

1. 在解压文件夹config目录下，修改zookeeper.properties

dataDir=C:/develop/kafka/data/zookeeper

2. 打开DOS窗口，输入命令行启动

bin\windows>zookeeper-server-start.bat config\zookeeper.properties

3. 也可以创建脚本文件zk.cmd快速启动

call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

2. 启动kafka

1. 在解压文件夹config目录下，修改server.properties

# 配置Kafka数据的存放位置
dataDir=C:/develop/kafka/data/kafka-logs

2. 打开DOS窗口，输入命令行启动

bin\windows\kafka-server-start.bat config\server.properties

3. 也可以创建脚本文件kfk.cmd快速启动

call bin/windows/kafka-server-start.bat config/kafka.properties

使用jps查看进程
切记：启动zookeeper后不要关闭命令行窗口，否则启动kafka-server会报错

3. 创建主题

# 创建Topic 
kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create
# 查看Topic列表
kafka-topics.bat --bootstrap-server localhost:9092 --list
# 查看详细的Topic
kafka-topics.bat --bootstrap-server localhost:9092 --topic test --describe
#修改Partition个数
kafka-topics.bat --bootstrap-server localhost:9092 --topic test1 --alter --partitions 3
# 删除
kafka-topics.bat --bootstrap-server localhost:9092 --topic test --delete

注意：删除Topic会报如下异常
原因：由于在windows系统中Topic受系统权限或者进程锁定原因，删除Topic会导致Kafka服务器节点异常关闭

在解压目录logs文件server.log查看

4. 生产者与消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test