2.Kafka安装和启动

1. 下载zookeeper和kafka，并上传解压

本人看尚硅谷视频学习，所以本班和视频中的一样。kafka使用的是kafka_2.11-0.11.0.0，zookeeper用的是最新版。

tar -zxvf apache-zookeeper-3.5.6.tar.gz -C /usr/local

mv apache-zookeeper-3.5.6 zookeeper

tar -xvf kafka_2.11-0.11.0.0.tgz -C /usr/local

mv kafka_2.11-0.11.0.0 kafka

 

2. 搭建zookeeper的集群环境

https://blog.csdn.net/Willson_L/article/details/83057864

 

3. 配置 config/server.properties 文件，配置一下选项

broker.id=1

delete.topic.enable=true

log.dirs=/usr/local/kafka/data

zookeeper.connect=192.168.72.141:2181,192.168.72.142:2181,192.168.72.143:2181

 

其他常用配置项：

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

 

4. 启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

 

5. 关闭kafka

bin/kafka-server-stop.sh stop

 

启动后，可以 ps -ef | grep kafka 看看进程

或者执行命令，创建一个主题试试：

sh kafka-topics.sh --create --zookeeper 192.168.72.141:2181 --topic wilson-li --partitions 2 --replication-factor 2