部署zookeeper和kafka集群

基础配置

先关闭firewall和enforce
先关闭firewall和enforce
先关闭firewall和enforce
重要的事情说三遍！！！！
先更改主机名

IP地址	主机名
192.168.200.11	zookeeper1
192.168.200.12	zookeeper2
192.168.200.13	zookeeper3

然后更改/etc/hosts文件

192.168.200.11 zk1.mall zookeeper1.mall kafka1.mall zookeeper1
192.168.200.12 zk2.mall zookeeper2.mall kafka2.mall zookeeper2
192.168.200.13 zk3.mall zookeeper3.mall kafka3.mall zookeeper3

然后通过scp传到其他的主机上

scp /etc/hosts zk2.mall:/etc/hosts
scp /etc/hosts zk3.mall:/etc/hosts

可以使用bash刷新一下
然后配置yum源

rm -rf /etc/yum.repos.d/*
echo -e "[centos]\nname=centos\nbaseurl=file:///media\n/gpgcheck=0\nenabled=1\n[gpmall]\nname=gpmall\nbaseurl=file:///root/gpmall-repo\ngpgcheck=0\nenabled=1" >> /etc/yum.repos.d/local.repo
mount /root/CentOS-7-x86_64-DVD-1511.iso /media/

然后使用yum安装我们需要的软件

yum install -y java java-devel vim

zookeeper

zookeeper1节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
1

zookeeper2节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
2

zookeeper3节点配置
解压zookeeper压缩包

tar -zxvf zookeeper-3.4.14.tar.gz 

修改配置文件

cd /root/zookeeper-3.4.14/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg
#在最下方加入三行
server.1=192.168.200.11:2888:3888
server.2=192.168.200.12:2888:3888
server.3=192.168.200.13:2888:3888
#然后保存退出
 mkdir /tmp/zookeeper
#向/tmp/zookeeper/myid文件中新添加一个1
cat /tmp/zookeeper/myid 
3

然后再三个节点上启动zookeeper

/bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh start

可以通过/bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status 来查看zookeeper的状态

zookeeper1节点

[root@zookeeper1 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: follower
[root@zookeeper1 config]#

zookeeper2节点

[root@zookeeper2 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: follower
[root@zookeeper2 config]#

zookeeper3节点

[root@zookeeper3 config]# /bin/bash /root/zookeeper-3.4.14/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /root/zookeeper-3.4.14/bin/…/conf/zoo.cfg
Mode: leader
[root@zookeeper3 config]#

有一个leader是正常的

kafka

zookeeper1配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.11:9092
#在文件最下方添加两行内容
broker.id=1
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

zookeeper2配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.12:9092
#在文件最下方添加两行内容
broker.id=2
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

zookeeper3配置
解压kafka压缩包

tar -zxvf kafka_2.11-1.1.1.tgz 

修改配置文件

cd /root/kafka_2.11-1.1.1/config/
vim server.properties 
#21行注释
#123行注释
#修改31行
listeners=PLAINTEXT://192.168.200.12:9092
#在文件最下方添加两行内容
broker.id=3
zookeeper.connect=192.168.200.11:2181,192.168.200.12:2181,192.168.200.13:2181

然后再三个节点上启动kafka

/root/kafka_2.11-1.1.1/bin/kafka-server-start.sh -daemon /root/kafka_2.11-1.1.1/config/server.properties

可以使用jps查看进程是否运行

[root@zookeeper1 config]# jps
6055 Kafka
6121 Jps
5674 QuorumPeerMain
[root@zookeeper1 config]#