【kafka】Kafka集群环境搭建

目录

前提

下载安装包并上传解压

node01服务器修改kafka配置文件

安装包分发到其他服务器上面去

node02与node03服务器修改配置文件

kafka集群启动与停止

---

• 前提

安装jdk，安装zookeeper并保证zk服务正常启动

 

• 下载安装包并上传解压

上传

cd /export/soft/
rz

 

解压

tar -zxvf ./kafka_2.11-1.0.0.tgz -C ../servers/

 

• node01服务器修改kafka配置文件

node01执行以下命令创建数据文件存放目录

mkdir -p  /export/servers/kafka_2.11-1.0.0/logs

 

node01执行以下命令进入到kafka的配置文件目录，修改配置文件

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties

 

 

修改配置

主要配置：

#broker的id
broker.id=0
#存放kafka日志的位置
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
#连接zookeeper的节点ip
zookeeper.connect=node01:2181,node02:2181,node03:2181
#是否能删除topic
delete.topic.enable=true
#主机名
host.name=node01

 

全部配置：

broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824

 

• 安装包分发到其他服务器上面去

cd /export/servers/
scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD

 

• node02与node03服务器修改配置文件

node02：

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties

配置：

#broker的id
broker.id=1
#主机名
host.name=node02

 

node03：

cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties

配置：

#broker的id
broker.id=2
#主机名
host.name=node03

 

• kafka集群启动与停止

在kafka启动前，一定要让zookeeper启动起来

 

node01，node02，node03执行以下命令将kafka进程启动在后台

cd /export/servers/kafka_2.11-1.0.0
nohup bin/kafka-server-start.sh config/server.properties &

 

查看是否启动成功