下载
本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号
zookeeper
kafka依赖zookeeper
kafka内置了zookeeper,在 kafka_2.13-2.6.0\libs 目录下有zookeeper的jar包。
但一般不用内置的
kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本
查看方式:
安装、启动
安装kafka
解压缩即可
配置kafka
kafka配置文件较多,在 kafka_2.13-2.6.0目录\config 目录下
server.properties:kafka服务配置文件
consumer.properties:消费者配置文件,用于命令操作,测试
producer.properties:生产者配置文件,用于命令操作,测试
zookeeper.properties:内置zookeeper配置文件,一般不用内置的
修改server.properties
kafka服务配置文件
修改broker id# kafka集群中broker的id,必须是整数,且broker之间唯一
broker.id=0
配置数据文件夹
在 kafka_2.13-2.6.0目录目录下创建 logs 文件夹
修改配置如下:
# kafka数据文件
log.dirs=D:\\devtools\\kafka_2.13-2.6.0\\logs
这里名字是 log.dir 其实不是日志,是数据文件
配置zookeeper
将zookeeper服务器ip、端口号配置在下面
zookeeper.connect=localhost:2181
配置kafka端口号
默认是9092
#listeners=PLAINTEXT://:9092
其他配置#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
启动程序
windows启动程序在 kafka_2.13-2.6.0\bin\windows 目录下
kafka-server-start.bat:启动kafka服务
kafka-server-stop.bat:关闭kafka服务
kafka-topics.bat:操作topic
kafka-console-consumer.bat:控制台操作消费者
kafka-console-producer.bat:控制台操作生产者
启动kafka
需要先启动 zookeeper
在 kafka_2.13-2.6.0 目录下,按下图操作:
打开 Powershell 或 cmd ,执行下面命令:
.\bin\windows\kafka-server-start.bat .\config\server.properties
看到下面界面表示启动成功:
关闭kafka.\bin\windows\kafka-server-stop.bat .\config\server.properties
查看zookeeper
启动zookeeper客户端,查看节点:
ls /
结果如下: