Linux搭建 zookeeper+kafka 集群

本文详述了在Linux上搭建Zookeeper和Kafka集群的步骤。首先安装JDK,接着配置和启动Zookeeper集群,通过设置不同端口号在单台服务器上模拟多节点。然后下载并配置Kafka,启动Kafka集群,并展示了如何通过命令行创建、查看、删除topic以及进行生产消费数据的简单操作。
摘要由CSDN通过智能技术生成

因为kafka是依赖于zookeeper来协调管理的,安装kafka之前我们需要先安装zookeeper,而zookeeper的运行又需要jdk来编译,所以安装zookeeper之前应该先安装jkd。所以,我们需要依次安装:jdk——>zookeeper——>kafka。

一、安装jdk

1、检查系统是否安装了openJDK

有的CentOS系统默认安装了openJDK,检查当前系统是否已安装openJDK,如果安装了先卸载。检查openJDK是否安装:rpm -qa|grep jdk,如果安装了openJDK,先卸载掉openJDK。

2、下载jdk

官网:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

3、新建java目录,将jdk安装包上传到java目录

# cd /usr/local
# mkdir java

4、解压安装包

# tar -zxvf  jdk-8u162-linux-x64.tar.gz

 5、配置环境变量

#  vi /etc/profile

在文件末尾添加如下配置:

export JAVA_HOME=/usr/local/java/jdk1.8.0_241

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

(标红部分为jdk解压后的目录路径,根据实际情况配置)

6、使/etc/profile生效

# source /etc/profile

7、验证是否安装成功

# java -version

 二、搭建zookeeper集群

因为我只有一台Linux服务器,所以在一台机器上创建三个zk实例,通过设置不同的端口号,搭建一个zookeeper伪集群。

1、下载zookeeper安装包

地址:https://archive.apache.org/dist/zookeeper/,我这里下的是zookeeper-3.4.14版本。

记一个坑:zookeeper的3.5.5—>3.6.0这几个版本,在下载的时候你会发现它有-bin.tar.gz和tar.gz两个版本,我们一般自然而然的就下载了tar.gz,这是个坑,这几个版本的tar.gz是源码包,里面没有jar包,我们要下载-bin.tar.gz才能正确安装。

 2、新建一个zookeeper-cluster目录,将安装包上传到zookeeper-cluster目录下

# cd /usr/local/
# mkdir zookeeper-cluster

3、解压安装包

# cd zookeeper-cluster/
# tar -zxvf  zookeeper-3.4.14.tar.gz

4、配置zk1(先配一个节点,然后再复制两份修改相关配置)

> 改一下解压包名称(便于直观区分)

# mv zookeeper-3.4.14 zk1

 > 新建data、logs目录,分别用来存放数据和日志

# cd zk1/
# mkdir data logs

> 进入conf,将zoo_sample.cfg 重命名为 zoo.cfg

  • 6
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值