Linux环境下搭建kafka伪集群

Linux环境下搭建kafka伪集群

准备工作

下载安装包zookeeper-3.4.12和kafka_2.11-1.1.1。

软件环境

1台linux机器

创建目录并下载安装

1.创建目录

cd /usr/local/ #进入安装目录（自己定）
mkdir kafkacluster #创建项目目录
cd kafkacluster #进入kafkacluster 目录

2.解压软件

解压zookeeper和kafka安装包
将解压后目录改名为zookeeper1和kafka

配置Zookeeper伪集群

cd zookeeper1 #进入zookeeper1目录
mkdir data  #存放快照日志
mkdir datalog #存放事物日志
cd conf目录 #进入conf目录
conf目录中的zoo_sample.cfg  这个文件是官方给的zookeeper的样板文件，复制一份命名为zoo.cfg保存在和样板文件同目录下。

打开zoo.cfg文件。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/kafkacluster/zookeeper1/Data/data
dataLogDir=/usr/local/kafkacluster/zookeeper1/Data/datalog
clientPort=2181
snapCount=10
server.1=192.168.0.1:2788:3788
server.2=192.168.0.1:2888:3888
server.3=192.168.0.1:2988:3988

创建myid文件

在（dataDir=/usr/local/kafkacluster/zookeeper1/Data/data）创建一个myid文件，里面内容是server.N中的N（server.1里面内容为1）

将zookeeper1复制两份命名为zookeeper2和zookeeper3。
修改zookeeper2的zoo.cfg文件。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/kafkacluster/zookeeper2/Data/data
dataLogDir=/usr/local/kafkacluster/zookeeper2/Data/datalog
clientPort=2182
snapCount=10
server.1=192.168.0.1:2788:3788
server.2=192.168.0.1:2888:3888
server.3=192.168.0.1:2988:3988
修改zookeeper2的zoo.cfg文件。

修改zookeeper3的zoo.cfg文件。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/kafkacluster/zookeeper3/Data/data
dataLogDir=/usr/local/kafkacluster/zookeeper3/Data/datalog
clientPort=2183
snapCount=10
server.1=192.168.0.1:2788:3788
server.2=192.168.0.1:2888:3888
server.3=192.168.0.1:2988:3988

测试Zookeeper伪集群

退出到zookeeper1/2/3目录下。

分别启动zk 
bin/zkServer.sh start conf/zoo,cfg
检查是否运行正常 
bin/zkServer.sh status

配置Kafka伪集群

cd kafka #进入kafka目录
mkdir kafkalogs1 #存放kafka1日志
mkdir kafkalogs2 #存放kafka2日志
mkdir kafkalogs3 #存放kafka3日志
cd config目录 #进入config目录

重命名server.properties为server.properties1，修改server.properties1文件。

broker.id=1 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=9091 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.0.1 #本机IP这个参数默认是关闭的
listeners=PLAINTEXT://192.168.0.1:9091 #监听的IP和端口
log.dirs=/opt/kafka/kafkalogs1 #消息存放的目录
zookeeper.connect=192.168.0.1:2181,192.168.0.1:2182,192.168.0.1:2183 #设置zookeeper的连接端口

将server.properties1复制为server.properties2和server.properties3
修改server.properties2文件。

broker.id=2 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=9092 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.0.1 #本机IP这个参数默认是关闭的
listeners=PLAINTEXT://192.168.0.1:9092 #监听的IP和端口
log.dirs=/opt/kafka/kafkalogs2 #消息存放的目录
zookeeper.connect=192.168.0.1:2181,192.168.0.1:2182,192.168.0.1:2183 #设置zookeeper的连接端口

修改server.properties3文件。

broker.id=3 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=9093 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.0.1 #本机IP这个参数默认是关闭的
listeners=PLAINTEXT://192.168.0.1:9093 #监听的IP和端口
log.dirs=/opt/kafka/kafkalogs3 #消息存放的目录
zookeeper.connect=192.168.0.1:2181,192.168.0.1:2182,192.168.0.1:2183 #设置zookeeper的连接端口

启动Kafka伪集群并测试

1、启动服务

退出到kafka目录

执行bin/kafka-server-start.sh  config/server.properties1
执行bin/kafka-server-start.sh  config/server.properties2
执行bin/kafka-server-start.sh  config/server.properties3

2、测试kafka

#创建Topic
bin/kafka-topics.sh --create --zookeeper 192.168.0.1:2181 --replication-factor 2 --partitions 1 --topic test
#启动一个生产者:
bin/kafka-console-producer.sh --broker-list 192.168.0.1:9092 --topic test
#启动一个消费者
bin/kafka-console-consumer.sh --zookeeper 192.168.0.1:2181 --topic test --from-beginning

在生产者发送一条消息，查看消费者是否有接收成功。接收成功后kafka伪集群环境搭建完成。