CentOS 7 安装Kafka和Zookeeper

下载

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
http://mirror.bit.edu.cn/apache/zookeeper/

安装配置

Kafka

1. 解压
2. 配置文件在conf目录下，主要配置是server.properties、

producer.properties和consumer.properties；而kafka启动的配置文件是server.properties。
##每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers
broker.id=100

##kafka监听地址，advertised.listeners默认也是用这个地址，如果不配置，检测的是计算机的hostname，比如我的windows是PLAINTEXT://DESKTOP-OL03P5L:9092，所以建议改掉。
listeners=PLAINTEXT://10.247.62.91:9092

##暴漏出去的地址，注册到zookeeper的地址，默认和listeners一样。比如我在docker中绑定地址是172网段的，暴漏出去的就要写192网段的地址了。
advertised.listeners=PLAINTEXT://10.247.62.91:9092

## broker 处理消息的最大线程数，一般情况下不需要去修改
num.network.threads=3

## broker处理磁盘IO 的线程数 ，数值应该大于你的硬盘数
num.io.threads=8

##kafka数据的存放地址（不是日志地址，kafka的日志默认在安装目录的logs文件夹下），多个地址的话用逗号分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2
log.dirs=E:/DevSoft/kafka/kafka_2.12-2.3.0/log

## 每个topic的分区个数，若是在topic创建时候没有指定的话 会被topic创建时的指定参数覆盖
num.partitions=1

## 数据存储的最大时间
log.retention.hours=168

##zookeeper集群的地址，可以是多个，多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3
zookeeper.connect=localhost:2181

3. 启动

bin/kafka-server-start.sh config/server.properties

4. 停止

bin/kafka-server-stop.sh

Zookeeper

配置

将Zookeeper的conf目录下的zoo_sample.cfg文件，复制为zoo.cfg;可以打开看下，里面有个一个端口配置。

修改zoo.cfg文件，添加下data目录和log目录：

dataDir=/opt/module/zookeeper-3.6.2/data
dataLogDir=/opt/module/zookeeper-3.6.2/logs

然后进入到Zookeeper的bin目录下，输入命令sh zkServer.sh start：

然后它就运行起来了。

然后运行sh zkCli.sh,测试下刚刚安装的zookeeper。