kafka搭建集群

一、利用安装zookeeper的三台服务器做KAFKA集群。

服务器    IP地址    端口
服务器1    192.168.88.11    9092
服务器2    192.168.88.12    9092
服务器3    192.168.88.13    9092
先启动三台zookeeper

## 1.1下载 kafka_2.9.2-0.8.1

wget http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

#创建kafka文件夹

mkdir /usr/local/kafka

减压

tar –zxvf kafka_2.9.2-0.8.1.tar.gz  -C /usr/local/kafka

1.2 创建log文件夹

mkdir /usr/local/kafka/kafkalogs

1.3 配置kafka

cd /usr/local/kafka/kafka_2.9.2-0.8.1/config

vi server.properties 修改项如下：

#broker.id=0  每台服务器的broker.id都不能相同
#hostname
host.name=192.168.88.11
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=192.168.88.11:2181,192.168.88.12:2181,192.168.88.13:2181

二、 启动kafka并测试

2.1启动服务（三台都需要启动）
进入到kafka的bin目录

./kafka-server-start.sh -daemon ../config/server.properties //后台启动运行

2.2检查服务是否启动

#执行命令jps
20348Jps
4233QuorumPeerMain
18991 Kafka

2.3创建topic来验证是否创建成功(一下骚造作都在bin目录下运行)

#创建Topic

./kafka-topics.sh --create --zookeeper 192.168.88.11:2181 --replication-factor 2 --partitions 3 --topic kk1

#解释
–replication-factor 2 #复制两份
–partitions 1 #创建1个分区
–topic #主题为kk1
‘’‘在一台服务器上创建一个发布者’’’
#创建一个broker，发布者(同时可以发布)

./kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic kk2

#发布同上

./kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  kk2

’’‘在另一台服务器上创建一个订阅者’’’（接收方）

./kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic kk2 --from-beginning

测试（在发布者那里发布消息看看订阅者那里是否能正常收到~）：
2.4查看topic

./kafka-topics.sh --list --zookeeper master:2181

#就会显示我们创建的所有topic
2.5 查看topic状态

./kafka-topics.sh --describe --zookeeper master:2181 --topic kk2

#下面是显示信息

删除topic的配置设置（vi server.properties）最后面添加：

auto.create.topics.enable = false
delete.topic.enable=true

删除topic的命令：

./kafka-topics.sh  --delete --zookeeper 192.168.88.11:2181  --topic  kk1

参考文章：
https://blog.csdn.net/hua_ge_zui_liang/article/details/106525443