Zookeeper+Kafka集群搭建

最新推荐文章于 2024-08-05 00:50:56 发布

jiecxy

最新推荐文章于 2024-08-05 00:50:56 发布

阅读量6.7k

点赞数 2

分类专栏： Kafka 文章标签： centos zookeeper 集群 kafka cluster

本文链接：https://blog.csdn.net/jiecxy/article/details/52348120

版权

本文档详细介绍了如何在三台CentOS 7系统上搭建Zookeeper和Kafka集群。首先，通过下载和配置Zookeeper，设置不同节点的myid，然后在所有节点上关闭防火墙。接着，安装Kafka，修改server.properties文件，并在各节点分配不同的broker.id。最后，按照先启动Zookeeper、后启动Kafka的顺序启动集群，进行测试验证，包括创建topic、producer和consumer，确保消息传递成功。

摘要由CSDN通过智能技术生成

说明

搭建zookeeper和Kafka集群：
本实验拥有3个节点，均为CentOS 7系统，分别对应IP为10.211.55.11、10.211.55.13、10.211.55.14，且均有相同用户名 （本实验为 jiecxy）

为了方便，先在三台节点上 /etc/hosts 文件内容均添加：

10.211.55.11 master
10.211.55.13 worker1
10.211.55.14 worker2

一、安装zookeeper

1. 下载 zookeeper-3.4.8.tar.gz

2. 在 master 节点上安装 zookeeper
解压安装包，并复制配置文件

# 在master节点上
[jiecxy@master ~]$ tar -xzvf zookeeper-3.4.8.tar.gz
[jiecxy@master ~]$ cd zookeeper-3.4.8/conf/
[jiecxy@master conf]$ cp zoo_sample.cfg zoo.cfg

3. 修改 zoo.cfg

[jiecxy@master conf]$ vi zoo.cfg

修改内容如下：

...
# dataDir 最好不要在 /tmp 下
dataDir=/tmp/zookeeper
...
# the port at which the clients will connect
clientPort=2181

# 添加节点，注：端口2888、3888不固定
server.0=master:2888:3888
server.1=worker1:2888:3888
server.2=worker2:2888:3888
...

4. 在 dataDir 目录下创建 data 文件夹和 myid 文件（内容为0）

# 在master节点上
[jiecxy@master ~]$ mkdir /tmp/zookeeper/data/
[jiecxy@master ~]$ touch /tmp/zookeeper/myid
[jiecxy@master ~]$ echo 0 > /tmp/zookeeper/myid

5. 将 zookeeper-3.4.8 文件夹复制到另外两个节点下

# 在master节点上
[jiecxy@master ~]$ scp -r zookeeper-3.4.8/ worker1:~/
[jiecxy@master ~]$ scp -r zookeeper-3.4.8/ worker2:~/

并在相同 dataDir 下创建 data 文件夹和 myid 文件
注：worker1 的 myid 文件内容为 1，worker2 的 myid 文件内容为 2

# 登录 worker1
[jiecxy@worker1 ~]$ mkdir /tmp/zookeeper/data/
[jiecxy@worker1 ~]$ touch /tmp/zookeeper/myid
[jiecxy@worker1 ~]$ echo 1 > /tmp/zookeeper/myid