kafka集群搭建

1、准备工作

环境版本选择：
Os版本： CentOS-7-x86_64-DVD-1810
Jdk版本： jdk-8u151
ZK版本： zookeeper-3.4.10
Kafka版本： kafka_2.11-2.1.1
部署节点：
三台虚拟机： elasticsearch-04、elasticsearch-05、elasticsearch-06
（ps：因之前安装es，所以主机名都为elasticsearch）
zookeeper安装参考：
https://blog.csdn.net/weixin_42324319/article/details/102954882

2、上传kafka并解压缩

tar -zxvf kafka_2.11-2.1.1.tgz

分发到其他两个节点：

scp -r kafka_2.11-2.1.1/ root@elasticsearch-05:/usr/local/
scp -r kafka_2.11-2.1.1/ root@elasticsearch-06:/usr/local/

3、修改配置文件

cd kafka_2.11-2.1.1/config/

编辑server.properties文件

vi server.properties

修改如下配置：

broker.id=0
zookeeper.connect=elasticsearch-04:2181,elasticsearch-05:2181,elasticsearch-06:2181
listeners=PLAINTEXT://169.254.122.243:9092

另外两个节点分别修改如下配置：

broker.id=1
zookeeper.connect=elasticsearch-04:2181,elasticsearch-05:2181,elasticsearch-06:2181
listeners=PLAINTEXT://169.254.122.244:9092

broker.id=2
zookeeper.connect=elasticsearch-04:2181,elasticsearch-05:2181,elasticsearch-06:2181
listeners=PLAINTEXT://169.254.122.245:9092

4、启动kafka

三台机器上分别执行：

/usr/local/kafka_2.11-2.1.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.11-2.1.1/config/server.properties

5、创建topic、product、consumer

创建topic：

/usr/local/kafka_2.11-2.1.1/bin/kafka-topics.sh --create --zookeeper elasticsearch-04:2181 --replication-factor 1 --partitions 1 --topic mytest

查看topic：

/usr/local/kafka_2.11-2.1.1/bin/kafka-topics.sh --list --zookeeper elasticsearch-04:2181

创建product：

/usr/local/kafka_2.11-2.1.1/bin/kafka-console-producer.sh --broker-list elasticsearch-04:9092 --topic mytest

创建consumer：

/usr/local/kafka_2.11-2.1.1/bin/kafka-console-consumer.sh --bootstrap-server elasticsearch-04:9092 --topic mytest --from-beginning