zookeeper集群部署教程

网上有很多zookeeper集群部署教程,开始试了好几个都没起来,报了很多错,踩了很多坑,最后自己摸索出来一套最佳实践方法如下:
一.zookeeper节点必须是奇数个,因为zookeeper选举的规则:leader选举,要求可用节点数量必须大于总节点数量/2,所以我们这次选用了三台机器部署
三台机器的内网ip分别为
172.31.36.230
172.31.36.231
172.31.36.232
二.zookeeper 是使用 java 来运行的,所以需要依赖 JDK,所以安装 zookeeper 之前需要安装部署 JDK,没有安装的需要先安装并配置环境变量,我已经安装java8,这里不再安装了。

三.安装并配置zookeeper,需要在三台机器上都执行
---------以下操作均在每台机器上执行!----------
1.下载:
直接从这个网址下载即可:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
(这里要注意!!!官网上有两个tar.gz文件。从目前最新的3.5.5版本开始,bin名称结尾的包就是我们要下载的,可以直接使用。里面有编译好的二进制包,上一个普通的tar.gz包只包含源码,不能直接使用。)
比如,我下载的是3.5.9版本的

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz

2.解压安装:

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

3.配置环境变量:
打开配置文件:

sudo vi /etc/profile

添加我们需要的配置信息:
(ZOOKEEPER_HOME 为你安装的zookeeper目录)

export ZOOKEEPER_HOME=/root/apache-zookeeper-3.5.9-bin
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

使环境变量生效

source /etc/profile

可选择查看是否生效:

echo $ZOOKEEPER_HOME

4.配置zookeeper
先创建一个data目录,记下它的路径,等会要用到:

mkdir /root/apache-zookeeper-3.5.9-bin/data

进入到zookeeper配置文件目录,做以下操作:

cd apache-zookeeper-3.5.9-bin/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

打开编辑zoo.cfg,显示如下内容。dataDir改成你自己刚刚创建的目录,根据自己机器内网ip,增加或更换server.1 2 3 ……的ip,一般机器数量都为3 5 7 等奇数,其他的配置不用变。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/apache-zookeeper-3.5.9-bin/data
clientPort=2181
server.1=172.31.36.230:2888:3888
server.2=172.31.36.231:2888:3888
server.3=172.31.36.232:2888:3888

为每台机器配置节点id:
在机器一上执行:

echo 1 >/root/apache-zookeeper-3.5.9-bin/data/myid

在机器二上执行:

echo 2 >/root/apache-zookeeper-3.5.9-bin/data/myid

在机器三上执行:

echo 3 >/root/apache-zookeeper-3.5.9-bin/data/myid

到这里就配置完成了。

5.启动zookeeper:

cd /root/apache-zookeeper-3.5.9-bin/bin
sh zkServer.sh start

6.查看zookeeper启动状态:

sh zkServer.sh status

7.启动成功后可以随便选择一个节点尝试连接另一个节点验证:

sh zkCli.sh -server 172.31.36.232:2181

成功进入后显示:

[zk: 172.31.36.232:2181(CONNECTED) 0]
  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
好的,以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程: 1. 创建一个namespace 首先,我们需要创建一个namespace,用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace: ``` kubectl create namespace zookeeper-kafka ``` 2. 部署Zookeeper 接下来,我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务: ``` apiVersion: v1 kind: Service metadata: name: zookeeper spec: selector: app: zookeeper ports: - name: client port: 2181 protocol: TCP - name: follower port: 2888 protocol: TCP - name: leader port: 3888 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zookeeper image: zookeeper:3.5.8 ports: - name: client containerPort: 2181 - name: follower containerPort: 2888 - name: leader containerPort: 3888 volumeMounts: - name: datadir mountPath: /data env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name - name: ZOO_SERVERS value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888 volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Zookeeper StatefulSet,并创建一个名为“zookeeper”的Service,暴露Zookeeper的客户端端口2181,follower端口2888和leader端口3888。 3. 部署Kafka 现在,我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例: ``` apiVersion: v1 kind: Service metadata: name: kafka spec: type: NodePort selector: app: kafka ports: - name: kafka port: 9092 nodePort: 30092 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: wurstmeister/kafka:2.13-2.7.0 ports: - name: kafka containerPort: 9092 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181 - name: KAFKA_ADVERTISED_LISTENERS value: PLAINTEXT://$(hostname -f):9092 - name: KAFKA_LISTENERS value: PLAINTEXT://0.0.0.0:9092 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: "3" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service,它将Kafka的9092端口暴露为NodePort 30092。 4. 验证部署 现在,您可以使用以下命令检查Zookeeper和Kafka是否正在运行: ``` kubectl get pods -n zookeeper-kafka ``` 您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。 接下来,您可以使用以下命令检查Kafka是否正在监听端口30092(或您自己选择的端口): ``` kubectl get services -n zookeeper-kafka ``` 您应该看到一个名为“kafka”的service,它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。 至此,您已经成功地在k8s上部署zookeeper + kafka集群

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值