一、环境需求
1.已搭建zookeeper集群
2.安装jdk
二、kafka集群部署
1.解压安装包
[hadoop@hadoop01 tools]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /home/hadoop/install/
2.修改名字
[hadoop@hadoop01 install]$ mv kafka_2.11-0.11.0.2/ kafka
3.在kafka目录下创建logs文件夹
[hadoop@hadoop01 kafka]$ mkdir logs
4.修改配置文件
[hadoop@hadoop01 kafka]$ vi config/server.properties
#broker的全局唯一编号,不能重复
broker.id=0
#是否允许删除
topic delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
5.配置环境变量
[hadoop@hadoop01 kafka]$ sudo vi /etc/profile
export PATH=$PATH:/home/hadoop/install/kafka/bin
[hadoop@hadoop01 kafka]$ source /etc/profile
6.分发kafka
[hadoop@hadoop01 kafka]$ xsync /home/hadoop/install/kafka/
[hadoop@hadoop01 kafka]$ xsync /etc/profile
7.分别在hadoop02和hadoop03上修改配置文件/home/hadoop/install/kafka/config/server.properties 中的broker.id=1、broker.id=2
8.启动集群
依次在hadoop01、hadoop02、hadoop03节点上启动kafka(-daemon代表后台启动)
[hadoop@hadoop01 kafka]$ kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop02 kafka]$ kafka-server-start.sh -daemon config/server.properties
[hadoop@hadoop03 kafka]$ kafka-server-start.sh -daemon config/server.properties