单机使用 3 个 kafka 实例搭建伪集群
1. 使用环境
- CentOS7.4
- zookeeper-3.4.10
- kafka_2.12-0.11.0.1
2. 搭建 zookeeper 集群
https://blog.csdn.net/qq_40925105/article/details/86551122
3. 下载 kafka,并上传到服务器
下载地址:https://kafka.apache.org/downloads
4. 搭建集群
4.1 解压
tar -zxvf kafka_2.12-0.11.0.1.tgz
4.2 创建集群目录
创建目录
mkdir -p /usr/local/java/kafka-cluster
复制三份 kafka 到集群目录下,并分别命名为 kafka-1、kafka-2、kafka-3
cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-1
cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-2
cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-3
4.3 修改 server.properties 配置文件
需要修改三个 kafka 目录下的 config/server.properties 配置文件,主要修改下面四个内容:
# kafka 集群中每个结点的唯一标识,三个 kafka 的 broker.id 不能相同
broker.id=0
# kafka 数据同步,改为 `listeners=PLAINTEXT://ip:port` 形式,端口号不能相同
listeners=PLAINTEXT://:9092
# kafka 日志路径,改为 `log.dir=/tmp/kafka-logs-1` 的形式,日志路径不能相同
log.dir=/tmp/kafka-logs
# zookeeper 集群地址,地址之间用逗号隔开
zookeeper.connect=localhost:2181
5. 启动 zookeeper 集群
6. 启动/关闭 kafka 集群
分别启动三个 broker
./bin/kafka-server-start.sh -daemon ./config/server.properties
登录 zookeeper 查看是否启动成功
ls /brokers/ids
0,1,2 三个 broker 启动成功,集群搭建完成!
关闭集群
./bin/kafka-server-stop.sh