zookeeper&kafka集群搭建

1.安装JDK

jdk环境确认：java –version

如果没有自己安装

tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181 java
mv java  /usr/local
vi /etc/profile 

在最后插入

export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

2.查看防火墙并关闭

 systemctl status firewalld.service
  systemctl stop firewalld.service
  systemctl disable firewalld.service

关闭selinux：

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

setenforce 0
getenforce

3.设置服务器节点间的免密登陆

ssh-keygen 按回车共三回车（有yes or no 输入yes）
ssh-copy-id -i ~/.ssh/id_rsa.pub root@host（host为服务器ip），需输入yes和服务器密码

ssh host 测试是否成功，输入exit退出远程登陆
4.安装zookeeper集群

mkdir -p /develop/servers存放安装的软件，
mkdir -p /develop/data存放软件的数据信息。
cd /develop/servers	

rz+回车上传zookeeper-3.4.13.tar.gz ，没有rz命令使用 yum install –y lrzsz安装命令

tar  -zxvf  zookeeper-3.4.13.tar.gz 解压文件
mv zookeeper-3.4.13 zookeeper

vi /etc/profile 然后按i 添加zookeeper环境变量
最后添加

export ZOOKEEPER_HOME=/develop/servers/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile使配置文件立即生效（每台服务器都要修改）
修改Zookeeper配置文件
cd zookeeper/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改dataDir=/tmp/zookeeper 为dataDir=/develop/data/zkdata
添加
server.1=node1:2888:3888     
server.2=node2:2888:3888
server.3=node3:2888:3888
创建文件夹：
mkdir –p /develop/data/zkdata
cd zkdata
vi myid 输入1保存并退出

配置hosts文件
vi /etc/hosts
添加
host1 node1
host2 node2
host3 node3
解决域名解析问题

vi /etc/ssh/ssh_config
添加 
StrictHostKeyChecking no
UserKnownHostsFile /dev/null

复制文件到其他服务器

scp /etc/hosts root@host:/etc/
scp /etc/ssh/ssh_config root@host:/etc/ssh
scp -r /develop/servers/zookeeper root@node2:/develop/servers/
scp -r /develop/servers/zookeeper root@node3:/develop/servers/

分别在node2 node3 /develop/data/zkdata 下添加myid 为2和3

在每个节点上启动zookeeper 
/develop/servers/zookeeper/bin/zkServer.sh start
查看zookeeper启动状态
/develop/servers/zookeeper/bin/zkServer.sh status

5.搭建kafka集群
上传kafka_2.12-2.1.0.tgz 至servers目录并解压

mv kafka_2.12-2.1.0.tgz kafka
cd kafka/config/
vi  server.properties 

修改一：改broker.id

修改二：改listeners host必须为ip，不能为域名

修改三：改log.dirs

修改四：改log.retention.hours

修改五：改zk信息

保存退出
发送到其他节点

scp -r /develop/servers/kafka root@node2:/develop/servers/
scp -r /develop/servers/kafka root@node3:/develop/servers/

分别修改node2和node3节点kafak 的server.properties
broker.id为2和3
在每个节点启动kafka

nohup /develop/servers/kafka/bin/kafka-server-start.sh 
/develop/servers/kafka/config/server.properties >/dev/null 2>&1 &

通过jps命令查看是否启动

6.kafka-manager安装

上传kafka-manager-1.3.3.23.zip至/develop/servers/目录
unzip kafka-manager-1.3.3.23.zip 解压
cd /kafka-manager/conf 
修改application.conf
vi application.conf

修改kakfa-manager.zkhosts=”host1:2181,host2:2181,host3:2181”

在bin目录下

./ kafka-manager & 启动

通过host:9000 访问kafka-manager