zookeeper+kafka集群搭建

1. 准备工作

1.1 安装包

jdk-8u191-linux-x64.tar.gz 安装包 

zookeeper-3.4.12.tar 安装包

kafka_2.11-2.0.0 .tgz 安装包

1.2 3台主机

ip	zookeeper	myid
192.168.1.11	server.1	1
192.168.1.12	server.2	2
192.168.1.13	server.3	3

 

 

 

 

 

2.环境安装

 2.1 安装Java环境

#安装包移到/usr/local目录下
mv jdk-8u162-linux-x64.tar.gz /usr/local

#解压文件
tar -zxvf jdk-8u162-linux-x64.tar.gz

#重命名文件夹为java
mv jdk-8u162-linux-x64 java

#用vim打开/etc/profile文件（Linux下配置系统环境变量的文件）
vim /etc/profile

#按i进入编辑模式，在文件末尾添加如下JAVA环境变量
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

#最后，需要让该环境变量生效，执行如下代码：
source /etc/profile

#检查环境是否安装成功
java -version
java
javac

2.2 zookeeper环境安装

#将安装包移到/usr/local目录下
mv zookeeper-3.4.12.tar /usr/local

#解压文件
tar -zxvf zookeeper-3.4.12.tar

#重命名文件夹为zookeeper
mv zookeeper-3.4.12 zookeeper

#配置zookeeper环境变量，首先打开profile文件
vim /etc/profile

#按i进入编辑模式，在文件末尾添加zookeeper环境变量
#set zookeeper environment
export ZK_HOME=/usr/local/zookeeper
export PATH=$ZK_HOME/bin:$PATH

#保存文件后，让该环境变量生效
source /etc/profile

#打开zookeeper配置文件
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
vim /usr/local/zookeeper/conf/zoo.cfg

#修改zookeeper配置文件
#修改数据文件夹路径
dataDir=/usr/local/zookeeper/data
#在文件末尾添加 本机的话直接用0.0.0.0
server.1=0.0.0.0:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888
#其它不变

#创建数据文件夹
mkdir /usr/local/zookeeper/data

#创建myid文件 此处的1对应你的主机
echo 1 >> /usr/local/zookeeper/data/myid

#安装上面的步骤 在每台主机上都配置上

 启动zookeeper

#在每台电脑上启动zookeeper 注意最后按着顺序启动 
 /usr/local/zookeeper/bin/zkServer.sh start

#启动完了 稍微等一会 查看状态
 /usr/local/zookeeper/bin/zkServer.sh status

主机192.168.1.11                                                     192.168.1.12                                                             192.168.1.13

2.3 kafka环境搭建

#将安装包移到/usr/local目录下
mv kafka_2.11-2.0.0 .tgz /usr/local

#解压文件
tar -zxvf kafka_2.11-2.0.0 .tgz

#重命名文件夹为zookeeper
mv kafka_2.11-2.0.0 kafka

#配置kafka环境变量，首先打开profile文件
vim /etc/profile

#按i进入编辑模式，在文件末尾添加kafka环境变量
#set kafka environment
export KAFKA_HOME=/usr/local/kafka
PATH=${KAFKA_HOME}/bin:$PATH

#保存文件后，让该环境变量生效
source /etc/profile

#打开kafka配置文件
vim /usr/local/kafka/config/server.properties

#进行配置
broker.id=1 #唯一 对应zookeeper的myid
#注意这里是内网ip
listeners=PLAINTEXT://192.168.1.11:9092
#注意如果需要外网访问可以打开这个
#advertised.listeners=PLAINTEXT://这里填外网ip:9092
#注意如果需要外网访问这里填的也是外网ip 如果不需要就填内网ip
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

#对3台主机进行相对应的配置

然后启动kafka

#进入目录
cd /usr/local/kafka

#启动kafka
bin/kafka-server-start.sh -daemon config/server.properties

#查看是否启动
root@public:~# jps
26720 Jps
28422 QuorumPeerMain  #zookeeper关联的
1148 Kafka


#在其中一台虚拟机(192.168.1.11)创建topic
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 3 --partitions 1 --topic test-topic

#查看创建的topic信息
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic test-topic

#对每台主机进行配置

注意一定要开发端口

 

然后通过kafka Tool 连接测试    下载连接：http://www.kafkatool.com/