下载
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
http://mirror.bit.edu.cn/apache/zookeeper/
安装配置
Kafka
- 解压
- 配置文件在conf目录下,主要配置是server.properties、
producer.properties和consumer.properties;而kafka启动的配置文件是server.properties。
##每一个broker在集群中的唯一标示,要求是正数。在改变IP地址,不改变broker.id的话不会影响consumers
broker.id=100
##kafka监听地址,advertised.listeners默认也是用这个地址,如果不配置,检测的是计算机的hostname,比如我的windows是PLAINTEXT://DESKTOP-OL03P5L:9092,所以建议改掉。
listeners=PLAINTEXT://10.247.62.91:9092
##暴漏出去的地址,注册到zookeeper的地址,默认和listeners一样。比如我在docker中绑定地址是172网段的,暴漏出去的就要写192网段的地址了。
advertised.listeners=PLAINTEXT://10.247.62.91:9092
## broker 处理消息的最大线程数,一般情况下不需要去修改
num.network.threads=3
## broker处理磁盘IO 的线程数 ,数值应该大于你的硬盘数
num.io.threads=8
##kafka数据的存放地址(不是日志地址,kafka的日志默认在安装目录的logs文件夹下),多个地址的话用逗号分割 /tmp/kafka-logs-1,/tmp/kafka-logs-2
log.dirs=E:/DevSoft/kafka/kafka_2.12-2.3.0/log
## 每个topic的分区个数,若是在topic创建时候没有指定的话 会被topic创建时的指定参数覆盖
num.partitions=1
## 数据存储的最大时间
log.retention.hours=168
##zookeeper集群的地址,可以是多个,多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3
zookeeper.connect=localhost:2181
- 启动
bin/kafka-server-start.sh config/server.properties
- 停止
bin/kafka-server-stop.sh
Zookeeper
配置
将Zookeeper的conf目录下的zoo_sample.cfg文件,复制为zoo.cfg;可以打开看下,里面有个一个端口配置。
修改zoo.cfg文件,添加下data目录和log目录:
dataDir=/opt/module/zookeeper-3.6.2/data
dataLogDir=/opt/module/zookeeper-3.6.2/logs
然后进入到Zookeeper的bin目录下,输入命令sh zkServer.sh start:
然后它就运行起来了。
然后运行sh zkCli.sh,测试下刚刚安装的zookeeper。