kafka的集群部署与搭建

一.kafka的安装与配置

（一）下载并解压kafka安装包

1.进入kafka官网

2.选择版本进行下载

3.上传kafka压缩包

rz 上传

4.切换到压缩包的目录

ll

5.解压

 tar -zxvf kafka_2.11-2.4.1.tgz  -C ../ruanjian/

6.解压执行结果

ll

7.创建软连接

 ln -s kafka_2.11-2.4.1/ kafka

（二）配置环境变量并发放

1.修改配置文件

 vim /etc/profile

2.配置环境变量

export KAFKA_HOME=/opt/ruanjian/kafka
export PATH=$PATH:$KAFKA_HOME/bin

3.使用scp拷贝环境变量到hadoop02节点

 scp /etc/profile root@hadoop02:/etc/profile

4.使用scp拷贝环境变量到hadoop03节点

 scp /etc/profile root@hadoop03:/etc/profile

二.修改配置文件

（一）修改kafka配置文件

1.切换到kafka配置文件config目录下

cd /opt/ruanjian//kafka/config/

2.编辑server.properties配置文件

vim server.properties

3.修改server.properties配置文件

broker.id=0
log.dirs=/opt/ruanjian/kafka/logs
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

4.再kafka目录中创建logs目录

 makdir logs 创建目录
 ll          查看目录

（二）分发到其他节点

1.将kafka分发到hadoop02节点

 scp -r kafka_2.11-2.4.1/ root@hadoop02:/opt/ruanjian/

2.拷贝执行结果

ll

3.创建软连接

​
 ln -s kafka_2.11-2.4.1/ kafka

​

4.编辑server.properties配置文件

​
vim server.properties

5.修改配置文件

6.将kafka分发到hadoop03节点（同上理可得）

7.创建软连接

8.修改server.properties配置文件

三.kafka集群的启动与停止

(一）启动kafka服务

1.启动kafka集群

 ./zk.sh start

2.使用脚本查看zk状态

 ./zk.sh status

3.切换到kafka的bin目录

 cd /opt/ruanjian/kafka/bin/

4.在hadoop01上启动kafka

kafka-server-start.sh -daemon ../config/server.properties 

5.查看kafka状态

jps

6.在hadoop02上启动kafka

​
kafka-server-start.sh -daemon ../config/server.properties 

7.在hadoop03上启动kafka

​
kafka-server-start.sh -daemon ../config/server.properties 

（二）停止kafka服务

1.在hadoop03上停止kafka

kafka-server-stop.sh -daemon ../config/server.properties 

2.在hadoop02上停止kafka

kafka-server-stop.sh -daemon ../config/server.properties 

​

​

3.在hadoop01上停止kafka

 kafka-server-stop.sh  -daemon ../config/server.properties

4.停止zk

 ./zk.sh stop

四.编辑kafka集群启动和停止脚本

(一)编辑脚本文件

1.切换到脚本文件目录

 cd /opt/script/

2.编辑kafka.sh集群控制脚本

 vim kafka.sh

3.脚本文件

#!/bin/bash
for i in hadoop01 hadoop02 hadoop03
do
   case $1 in
      start)
        echo "-------------start $i -------------"
        ssh $i source /etc/profile;/opt/ruanjian/kafka/bin/kafka-server-start.sh -daemon /opt/ruanjian/kafka/config/server.properties: 
  ;;        
      stop) 
        echo "-------------stop $i -------------"
        ssh $i source /etc/profile;/opt/ruanjian/kafka/bin/kafka-server-stop.sh stop
  ;;
  esac        
done 

4.查看脚本文件是否完成创建

ll

5.授权

chomod 777 kafka.sh 

（二）启动kafka集群

1.启动zk集群

 ./zk.sh start

2.查看zk集群状态

 ./zk.sh status

3.启动kafka集群

 ./kafka1.sh start

4.查看进程

jps

（三）停止kafka集群

1.停止kafka集群

 ./kafka1.sh stop

2.停止zk集群

./zk.sh stop