上篇博客,已经介绍了三台虚拟机搭建zookeeper集群。本篇讲继续搭建kafka集群。
首先创建目录,以便管理。
mkdir /home/captain/kafka
cd /home/captain/kafka
将压缩包放入到目录中,压缩包:
链接:https://pan.baidu.com/s/1gr9bXvcaOPRyOf9YYMqPiQ
提取码:vk9d
1)解压安装包
[atguigu@102]$ tar -zxvf kafka_2.11-0.11.0.0.tgz
2)修改解压后的文件名称
mv kafka_2.11-0.11.0.0/ kafka
3)在kafka_2.11-0.11.0.0 目录下创建 logs 文件夹
mkdir logs
4)修改配置文件
cd config/
vi server.properties
输入以下内容:
#broker 的全局唯一编号,不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181
advertised.listeners=PLAINTEXT//192.168.1.101:9092
5)配置环境变量
vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/home/captain/kafka/kafka_2.11-0.11.0.0
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
6)分发安装包
其他两台机器也同样部署,可以用scp指令
7)分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注:broker.id 不得重复
8)启动集群
依次在 101、102、103 节点上启动 kafka
bin/kafka-server-start.sh config/server.properties &
9)关闭集群
bin/kafka-server-stop.sh stop