Windows下搭建kafka环境

Windows下搭建kafka环境

文章转自：https://blog.csdn.net/u010054969/article/details/70241478

https://blog.csdn.net/qq_32485573/article/details/54562237?locationNum=5&fps=1

注意：请确保本地Java环境变量配置成功

1.安装Zookeeper 
Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 
1.1 下载安装文件： http://mirror.bit.edu.cn/apache/zookeeper/ 
1.2 解压文件（本文解压到 D:\zookeeper-3.4.8） 
1.3 打开D:\zookeeper-3.4.8\conf，把zoo_sample.cfg重命名成zoo.cfg 
1.4 从文本编辑器里打开zoo.cfg 
1.5 修改dataDir和dataLogDir保存路径 
dataDir=D:\data\logs\zookeeper 
dataLogDir=D:\data\logs\zookeeper 
1.6 添加如下系统变量：ZOOKEEPER_HOME: D:\zookeeper-3.4.8 
Path: 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin; 
1.7 运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口。 

2.安装并运行Kafka 
2.1 下载安装文件： http://kafka.apache.org/downloads.html 
2.2 解压文件（本文解压到 D:\kafka_2.11-0.10.2.0） 
2.3 打开D:\kafka_2.11-0.10.2.0\config\ server.properties 
2.4 把 log.dirs的值改成 log.dirs=D:\data\logs\kafka 
2.5 D:\kafka_2.11-0.10.2.0\bin文件夹下的.sh命令脚本是在shell下运行的，此文件夹下还有个 windows文件夹，里面是windows下运行的.bat命令脚本 
2.6 在D:\kafka_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口 
2.7 输入并执行一下命令以打开kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

显示的信息如下，则表示正常运行 

3.创建topics 
3.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

4.打开一个Producer 
4.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-producer.bat --broker-list localhost:9092 --topic test

 

5.打开一个Consumer 
5.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

 

注意：以上打开的窗口不要关闭 
然后就可以在Producer控制台窗口输入消息了。在消息输入过后，很快Consumer窗口就会显示出Producer发送的消息： 

 

 

转另外一篇：

近期在搞kafka，在Windows环境搭建的过程中遇到一些问题，把具体的流程几下来防止后面忘了。 
准备工作： 
1.安装jdk环境 
http://www.oracle.com/technetwork/java/javase/downloads/index.html 
2.下载kafka的程序安装包： 
http://kafka.apache.org/downloads 
解压文件提取出里面的文件 
在cmd命令行打开至根目录下，内容如下： 
 
(1).bin目录下存放的是程序运行时使用的脚本文件，window平台是一个独立的文件夹里面存放着 .bat 文件，bin的目录下存放的是 Linux 平台使用的 .sh 的shell脚本，在window平台上用不到，嫌麻烦可以删了。 
(2).config目录下存放的是一些程序运行的配置文件，在后期自定义使用kafka的时候需要修改里面的文件内容。 
(3).libs目录是打包好的jar包，这个版本自带了zookeeper的jar包，所以在安装的过程中不需要再在本地安装zookeeper了。

1. 启动zookeeper： 
   在正常启动zoopkeeper之前需要修改zookeeper.properties的文件内容，将其data的输出目录指定一下，可自行创建一个文件夹如下： 
    
   然后启动：

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

 

正常启动后他的状态是这样的： 

3. 启动kfaka服务： 
在启动前，任然需要修改server.properties中log.dir的配置目录， 
 
修改后，启动服务： 
 
4. 创建一个主题：

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kjTest

 

可以使用如下命令查看创建的主题列表：

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

 

 
5. 启动生产者：

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic kjTest

 

此时可以从控制台输入信息，待消费者启动后可接收到生产者发布的消息。 

6. 启动消费者：

bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic kjTest --from-beginning

 

此时便能看到发布出去的消息了 

7. 在后期还可以启动多个集群服务，同时进行操作，修改server.properties中的内容：便可启动，与上相似。

config/server-1.properties:
        broker.id=<new id>
      listeners=PLAINTEXT://:<new port>
    log.dir=<you log dir>   

 

操作步骤：

 

1).分别启动需要的kafka服务

 
2). 创建主题，设置分区数目 

可以使用下面的命令查看是否创建成功，和具体的分区 

3). 分别启动生产者消费者 

4). 可以查看下当前工作状态 

查看得当前服务使用的是broker编号为2的服务，但我们将其down掉后 
 
再次执行消息发送任务： 

 
消息仍能发送成功，命令行中会提示一个服务已关闭。 
就查看当前状态： 
 
此时的leader换成了broker 0