kafka(2) windows搭建zk kafka集群

一 环境

• jdk1.8
• zookeeper-3.4.10
• kafka_2.11-0.11

二 下载地址

• zk官网下载 : https://archive.apache.org/dist/zookeeper/
• kafka官网下载 : https://archive.apache.org/dist/kafka/
• 温馨提示 : 官网下载速度较慢, 请提前下载

三 前提

 在D盘的根目录下创建一个colony文件, 将下载好的kafka,zk包放入

四 zk集群搭建

在colony文件夹下创建一个zookeeper文件夹, 将zookeeper-3.4.10压缩包解压到zookeeper文件夹, 效果如下:

 一直点进去文件夹, 找到conf文件夹点击进去, 效果如下 : 

将zoo_sample.cfg文件夹重命名为zoo.cfg, 然后编辑zoo.cfg文件, 没修改之前效果如下 : 

dataDir : zk中节点的存储位置

clientPort : 客户端端口号

我们需要修改的是dataDir, 将节点保存到我们自己创建的文件夹下, 因此我们需要创建一个文件夹, 在zookeeper文件夹下创建一个data文件夹 

 进入data文件夹, 创建三个文件夹, 分别命名为data0,data1,data2

 然后在data0,data1,data2文件夹下分别创建一个myid文件, 没有后缀

data0中的myid文件内容是1

data1中的myid文件内容是2

data2中的myid文件内容是3

 接下来将dataDir修改为 : D:\\colony\\zookeeper\\data\\data0 (必须是双反斜杠)

添加

server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002

 效果如下 : 

 到了这里, 单机的zk就搭建好了, 接下来搭建集群

将D:\colony\zookeeper\zookeeper-3.4.10\zookeeper-3.4.10文件复制两份, 重命名zookeeper-3.4.10-1, zookeeper-3.4.10-2, 效果如下:

 点击进入zookeeper-3.4.10-1, 修改zoo.cfg文件夹, 效果如下 : 

#存储快照,日志等信息存储位置
dataDir=D:\\colony\\zookeeper\\data\\data1
#客户端连接端口
clientPort=2182
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002 

点击进入zookeeper-3.4.10-2, 修改zoo.cfg文件夹, 效果如下 : 

 #存储快照,日志等信息存储位置
dataDir=D:\\colony\\zookeeper\\data\\data2
#客户端连接端口
clientPort=2183
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002 

zk集群搭建完成, 启动zk

分别进入三个zk的bin目录, 点击zkServer.cmd

出现如下效果, 就是搭建成功 , 需要注意的是, 当你启动一个zk时, 可能会报错, 这个可以不用理会, 三个zk全部启动, 报错就会消失

五 kafka集群搭建

在D:\colony下创建一个kafka文件夹

 将zookeeper-3.4.10.tar.gz解压到该文件夹, 并将文件夹复制两份

 修改D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\config目录下的server.properties文件夹

#kafka集群唯一标识
broker.id=0
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9092
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log1
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

log.dirs 是kafka存放数据的文件夹, 自己创建, 在这里创建了三个文件夹

 kafka_2.11-0.11.0.1-1\config目录下的server.properties修改为

#kafka集群唯一标识
broker.id=1
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9093
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log2
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

 kafka_2.11-0.11.0.1-2\config目录下的server.properties修改为

#kafka集群唯一标识
broker.id=2
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9094
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log3
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

kafka集群搭建完成, 启动kafka集群

cmd分别进入kafka三个文件的bin目录层, 执行

.\bin\windows\kafka-server-start.bat .\config\server.properties

出现以上效果, kafka集群搭建完成

六 测试kafka集群

打开一个新的cmd进入到 D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\bin\windows目录下执行,  .\kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 1 --topic topDemo

 

 

主题创建成功

再次cmd进入到 D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\bin\windows目录下执行

 .\kafka-console-producer.bat --broker-list 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic topDemo

 生产者创建成功

接下来创建三个消费者, 分三次cmd进入D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\bin\windows目录下, 执行

.\kafka-console-consumer.bat --zookeeper 127.0.0.1:2181 --topic topDemo

.\kafka-console-consumer.bat --zookeeper 127.0.0.1:2182 --topic topDemo

.\kafka-console-consumer.bat --zookeeper 127.0.0.1:2183 --topic topDemo

都出现如下效果 : 

三个消费者创建成功

测试生产者发送消息, 看三个消费者接收情况 : 

 

 效果如上

完结, 撒花