kafka集群搭建及测试

---

已经安装 zookeeper

---

下载安装包

官网链接

解压至目标路径

tar -zxvf 文件名 -C 目标路径

修改配置文件

配置环境变量：( /etc/profile)
export KAFKA_HOME=安装路径
export PATH=$PATH:KAFKA_HOME/bin

修改 kafka_2.11-1.0.0/config下的文件：# vi server.properties

**这里可以写ip，因为我已经配置过 映射

分发文件

 scp -r kafka_2.11-1.0.0/ slave1:/root/software/
 scp -r kafka_2.11-1.0.0/ slave2:/root/software/

**分发文件后一定要记得修改每个 server.properties文件，三个分别为 0， 1， 2

启动kafka

# kafka-server-start.sh /root/software/kafka_2.11-1.0.0/config/server.properties

---

设置群起脚本

**启动脚本

#!/bin/bash

BROKERS="master slave1 slave2"  
APPHOME="/root/software/kafka_2.11-1.0.0"
APP_NAME="kafka_2.11-1.1.0"

for i in $BROKERS
do
    echo "Starting ${APP_NAME} on ${i} "
    ssh ${i} "source /etc/profile;  ${APPHOME}/bin/kafka-server-start.sh -daemon ${APPHOME}/config/server.properties ;exit"
    if [[ $? -ne 0 ]]; then
        echo "Starting ${APP_NAME} on ${i} is  ok"
    fi
done
echo All $APP_NAME are started
exit 0

---

赋予脚本执行权限 #chmod +x 脚本名

---

测试

1. 启动 zookeeper集群

参考博客

2. 启动 kafka 集群

**参考上文

3. 创建 topic（master）

kafka-topics.sh --create --topic first --replication-factor 1 --partitions 2 --zookeeper master:2181

4. 创建 生产者

kafka-console-producer.sh --broker-list master:9092 --topic first

5. 创建 消费者

[root@slave1 ~]# kafka-console-consumer.sh --topic first --zookeeper slave1:2181

6.生产者生产 消息

7.消费者消费 消息