Kafka入门-集群式环境搭建

目录

前言：

环境：

开始安装kafka

kafka集群系统常用命令【传送门】

---

前言：

kafka依赖于jdk和zookeeper所以安装kafka之前必须配置好jdk和zookeeper。

环境：

VMware15.5Pro【安装教程传送门】

CentOS6.9【安装教程传送门】

zookeeper-3.4.5-cdh5.14.0【安装教程传送门】

JDK1.8【安装教程传送门】

 

开始安装kafka

一：初始环境准备

安装jdk，安装zookeeper并保证三台节点zk服务正常启动

二：下载安装包并解压

cd /export/softwares

wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar –zxvf  kafka_2.11-1.0.0.tgz -C /export/servers/

三：在第一台节点修改kafka配置文件

执行以下命令进入到kafka的配置文件目录，修改配置文件

cd /export/servers/kafka_2.11-1.0.0/config

vim server.properties

修改内容如下：

broker.id=0

log.dirs=/export/servers/kafka_2.11-1.0.0/log

zookeeper.connect=节点名称:2181,节点名称:2181,节点名称:2181

delete.topic.enable=true

host.name=主机名

创建出配置项log.dirs的值路径

mkdir -p  /export/servers/kafka_2.11-1.0.0/log

四：安装包分发到其他两个节点

cd /export/servers/

scp -r kafka_2.11-1.0.0/ node02:$PWD

scp -r kafka_2.11-1.0.0/ node03:$PWD

五：第二节点与第三节点在第一节点修改的基础上，再次修改配置文件

cd /export/servers/kafka_2.11-1.0.0/config

vim server.properties

第二节点修改内容如下：

broker.id=1

host.name=主机名

第三节点修改内容如下：

broker.id=2

host.name=主机名

六：kafka集群的启动

    启动kafka之前必须保证三台节点zookeeper已经启动并且运行无误

    启动kafka之前必须保证三台节点zookeeper已经启动并且运行无误

    启动kafka之前必须保证三台节点zookeeper已经启动并且运行无误

第一台节点启动命令：

cd /export/servers/kafka_2.11-1.0.0

nohup bin/kafka-server-start.sh config/server.properties &

&符号：表示在后台启动kafka程序

第二台节点启动命令：

cd /export/servers/kafka_2.11-1.0.0

nohup bin/kafka-server-start.sh config/server.properties &

&符号：表示在后台启动kafka程序

第三台节点启动命令：

cd /export/servers/kafka_2.11-1.0.0

nohup bin/kafka-server-start.sh config/server.properties &

&符号：表示在后台启动kafka程序

七：kafka集群停止

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-server-stop.sh

停止时间可能会有点长请耐心等待（等待时间视配置情况而定）
需要单个节点停止每个节点都需要执行停止kafka集群命令

kafka集群系统常用命令【传送门】