1.准备
http://kafka.apache.org/downloads
将文件上传到虚拟机上,解压
tar -zxvf 下载的压缩包 -C 解压到文件路径
2.文件配置
2.1解压后更改文件夹名称(可不改)
mv kafka_2.11-0.11.0.0/ kafka
在kafka目录下新建一个文件夹
mkdir data
2.2修改配置文件
cd config/
vi server.properties
zookeeper集群的连接根据zookeeper的配置进行灵活的更改
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181
server.properties文件更改
#broker 的全局唯一编号,不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181
2.3配置环境变量
sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
分发安装包
xsync kafka/
注意:分发之后记得配置其他机器的环境变量
分别在 hadoop102 和 hadoop103 上修改配置文件/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注:broker.id 不得重复
3.启动
启动
bin/kafka-server-start.sh -daemonconfig/server.properties
停止
bin/kafka-server-stop.sh stop
脚本启动
点击可转到:脚本启动教程