大数据环境搭建系列【四】Kafka集群搭建

---

---

前言

flink 1.11.2 on yarn 部署

---

一、下载安装包

Oracle官网下载一个linux版的jdk8
kafka下载地址
zookeeper下载地址

---

二、集群规划

IP	主机名
192.168.1.61	kafka01
192.168.1.62	kafka02
192.168.1.63	kafka03

三、Centos基础环境（每台机器都执行）

1、安装centos（略）

2、网络环境配置（略）

3、yum源更改（略）

4、安装jdk

• 找到常用安装软件的目录

cd /xx

• 将下载的的jdk解压

tar -zxvf jdk1.8.gz

• 创建符号链接方便更新jdk版本

ln -s /xx/jdk1.8 /xx/jdk

• 配置环境变量
  在/etc/profile追加

export  JAVA_HOME=/soft/jdk
export  PATH=$PATH:$JAVA_HOME/bin

使配置生效,检查jdk版本

source /etc/profile
java -version

5、防火墙

停止防火墙，永久关闭防火墙

service stop firewalld
systemctl disable firewalld

6、修改主机名

hostnamectl set-hostname xxx
reboot #重启生效

7、修改/etc/hosts文件，添加ip与主机名的映射

在/etc/hosts追加

192.168.1.61 kafka01
192.168.1.62 kafka02
192.168.1.63 kafka03

8、设置免密登录

ssh-keygen
ssh-copy-id root@192.168.1.61
ssh-copy-id root@192.168.1.65
ssh-copy-id root@192.168.1.66

四、zookeeper安装(每台机器都执行)

1、解压

tar -zxvf zkxxx.tar.gz

2、创建符号链接

ln -s /xxx/zookeeperxxx /xxx/zk

3、配置环境变量

在/etc/profile中追加

export ZK_HOME=/soft/zk 
export PATH=$PATH:$ZK_HOME/bin

4、修改配置文件

打开zookeeper配置目录 /xxx/zk/conf,复制一份原始配置文件到zoo.cfg

cp zoo_sample.cfg zoo.cfg

更改zoo.cfg配置
修改：

dataDir = /xxx/zookeeper #（可以默认，也可以自定义，但要知道目录位置，后面要用到）

追加：

server.0=kafka01:2888:3888
server.1=kafka02:2888:3888
server.2=kafka03:2888:3888

5、创建数据文件

mkdir /xxx/zookeeper

在数据文件目录创建myid文件

cd /xxx/zookeeper
vi myid

编辑内容：

#server.0=kafka01:2888:3888 如果配置中kafka01这台机器表示的是server.0则myid内容为0
0

6、启动zookeeper

zkServer.sh start

7、检查是否启动正常

zkServer.sh status
#在检查时会发现一个主机是leader，另外两个是follower

五、kafka环境(每台机器都执行)

1、解压kafka安装包

tar -zxvf kafkaxxx.tar.gz

2、修改配置文件

进入kafka配置文件目录，编辑server.properties
修改：

broker.id=x  #简单的理解为给集群的主机按0，1，2，3，...排序
zookeeper.connect=kafka01:2181,kafk02:2181,kafka03:2181  #zk的配置 

3、启动集群

nohup bin/kafka-server-start.sh config/server.properties &

4、检查是否启动成功

查看是否有kafka的进程信息

jps

5、修改数据默认存储时间

修改server.properties

log.retention.hours=168  #数据保留7天

6、开机自启

6.1 zookeeper开机自启

在/etc/init.d目录下新建开启动脚本
vim zk
内容：

#内容
#!/bin/bash

export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper

case $1 in
start)
/xxx/zk/bin/zkServer.sh start
;;
stop)
/xxx/zk/bin/zkServer.sh stop
;;
status)
/xxx/zk/bin/zkServer.sh status
;;
restart)
/xxx/zk/bin/zkServer.sh start
;;
*)
echo "require start|stop|status|restart"
;;
esac

赋予文件可执行权限，并添加到开机启动项

修改权限
chmod 755 zk
测试命令
service zk status
添加到服务列表
Chkconfig --add zk
验证是否添加成功
chkconfig --list
设置为开机自启
chkconfig zk on

6.2 kafka开机自启

在/etc/init.d目录下新建开启动脚本
vim kafka
内容：

#内容
#!/bin/bash

export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

#chkconfig:2345 20 90
#description:kafka
#processname:kafka

case $1 in
          start) 
              nohup /soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties &
              ;;
          stop)
              /soft/kafka/bin/kafka-server-stop.sh
              ;;
          status)
              jps
              ;;
          restart)
              /soft/kafka/bin/kafka-server-stop.sh
              nohup /soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties &
              ;;
          *)
              echo "require start|stop|status|restart"
              ;;
esac

赋予文件可执行权限，并添加到开机启动项

修改权限
chmod 755 kafka
测试命令
service kafka status
添加到服务列表
chkconfig --add kafka
验证是否添加成功
chkconfig --list
设置为开机自启
chkconfig kafka on