Windows 安装Kafka

Windows下安装Kafka

 

1 安装JDK

参考Java环境变量配置

 

下载所需文件

Zookeeper: http://www.apache.org/dyn/closer.cgi/zookeeper/

Kafka :http://kafka.apache.org/downloads.html

 

2 安装Zookeeper

2.1  下载安装文件： http://zookeeper.apache.org/releases.html

2.2  解压文件到D:\Program Files\zookeeper-3.4.14

2.3  打开zookeeper-3.4.14\conf，把zoo_sample.cfg重命名成zoo.cfg

2.4  在文本编辑器里打开zoo.cfg

2.5  把dataDir的值改成如下：

dataDir=D:/Program Files/zookeeper-3.4.14/data

2.6  添加如下系统变量：

• 在系统变量中添加ZOOKEEPER_HOME 值为D:\Program Files\zookeeper-3.4.14
• 编辑Path：在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin;

2.7 运行Zookeeper：打开cmd然后执行zkserver

注意，cmd窗口不要关闭。

 

报错：

zookeeper-3.5.5安装报错：找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain

解决方案
总结：原来从目前的最新版本3.5.5开始，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

好想吐槽下啊，Zookeeper的包的变动，源码的包就不能向其他的安装包一样加个src的标识吗？见名知意多好，以避免误下载。

所以同学们，如果下载3.5.5以后的版本的Zookeeper安装包，我们乖乖的下载带有bin标识的包就不会有问题了。

 

3 安装Kafka

3.1 下载安装文件： http://kafka.apache.org/downloads.html

3.2  解压文件到D:\kafka_2.12-2.3.0

3.3  打开kafka_2.12-2.3.0\config

3.4  在文本编辑器里打开 server.properties

3.5  把 log.dirs的值改成如下：

log.dirs=D:/kafka_2.12-2.3.0/kafka-logs

3.6  打开cmd，进入kafka文件目录: cd D:\kafka_2.12-2.3.0

3.7  输入并执行：

.\bin\windows\kafka-server-start.bat .\config\server.properties

注意，cmd窗口不要关闭。

 

报错：

Classpath is empty. Please build the project first e.g. by running 'gradlew jarAll'

发现从官网下的是源码。。。

不要下载带src的文件

正确文件名形如：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

另 网上其他资料得知 安装路径不得有空格

 

4 创建topic

4.1 打开cmd，进入cd D:\kafka_2.12-2.3.0\bin\windows

4.2 创建一个topic：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5 创建producer

5.1 打开cmd，进入cd D:\kafka_2.12-2.3.0\bin\windows

5.2 启动producer：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

6 创建consumer

6.1 打开cmd，进入cd D:\kafka_2.12-2.3.0\bin\windows

6.2 启动consumer：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

7 测试

在producer命令行中任意输入内容，回车；在其他consumer命令行中能看到相应消息。

8 其他命令

8.1 列出主题

kafka-topics.bat --list --zookeeper localhost:2181

8.2 描述主题

kafka-topics.bat --describe --zookeeper localhost:2181 --topic [Topic Name]

8.3 从头读取消息

kafka-console-consumer.bat --bootstrap-server localhost:2181 --topic [Topic Name] --from-beginning

8.4 删除主题

kafka-run-class.bat kafka.admin.TopicCommand --delete --topic [topic_to_delete] --zookeeper localhost:2181

参考  Setting Up and Running Apache Kafka on Windows OS