如何部署kafka,以及kafka集群?

环境演示:

  • jdk 11
  • kafka_2.13-3.5.1
  • ubantu 24
  • 搭建三个集群

第一步:安装jdk,这里版本可能会有所要求,一般只要jdk版本不要太老就没什么问题。

第二步:下载kafka

方法有很多种,这里我的建议是自己下载,然后上传服务器。上传服务器,有两个办法,一种采用Xftp 7软件进行上传。另一种办法是用lrzsz程序进行上传下载 。这里不提供教程了,直接上网搜怎么安装,一般服务器会自带。不自带的话,自行安装一下这个命令。这里推荐小白直接用第三方软件Xftp 7简单易懂。

第三步:进行解压安装:

解压命令:

tar xvf kafka_2.13-3.5.1.tgz

解压之后把他放到你想要安装的位置:这里我放到/usr/local/kafka/,可能需要超级用户的权限,使用sudo su切换到超级用下进行操作进行。下面的服务器的启动,包括配置文件的修改都会用到超级用户的权限,这里我不在重复。系统不允许操作会提示,但是修改配置文件不能保存有可能是你没有进行超级用户。

mkdir /usr/local/kafka/
mv kafka_2.13-3.5.1 /usr/local/kafka/
cd /usr/local/kafka/kafka_2.13-3.5.1

第四步:进入config修改配置文件。

cd /usr/local/kafka/kafka_2.13-3.5.1/config

这里我们用vim编辑器进行修改,其他方式也行,记得超级用户权限,已经切换过,不用管。

vim server.properties

按下键盘上的字母i进行修改,否则无法进行修改。具体怎么操作vim进行百度

先创建一个文件夹data

mkdir  /usr/local/kafka/kafka_2.13-3.5.1/data

再去配置文件中修改kafka消息存放的路径

log.dirs=/usr/local/kafka/kafka_2.13-3.5.1/data/kafka-logs

再去修改:

zookeeper.connect=电脑的ip:2181  //本机的话就localhost就行 或者zookeeper.connect=localhost:2181

再按下键盘上的esc,再按下:wq!进行保存。 

最后进入vim zookeeper.properties文件,进行修改。

现在第一台kafka服务器的配置完全弄好。

第五步:进入 bin目录进行启动,首先启动 zookeeper-server-stop.sh,这里采用的-daemon参数后台启动的意思。

cd ../
cd bin
./zookeeper-server-start.s -daemon ../config/zookeeper.properties

再输入jps,或者netstat -tulnp | g命令,看看有没有成功启动。 

接下来启动kafka服务器,都是在bin目录下执行的。

./kafka-server-start.sh -daemon ../config/server.properties

此时输入 jps看看有没有启动成功

至此已经完成了第一个kafka服务器的完全部署。要想部署集群,还需要继续操作。

第六步:此时在bin目录下,我们进入config目录进行修改。集群的话,首先复制server.properties文件,这里以部署三台为例。复制文件也放到config目录下文件名为server1.properties 和server2.properties。

复制命令如下:

cp server.properties ./server1.properties
cp server.properties ./server2.properties

 再进行修改,

至此第二台kafka已经配置好。

进入bin目录进行启动。先cd ../ 再cd bin

./kafka-server-start.sh -daemon ../config/server.properties

成功启动如下

 接下来第3台,第4台都是同样的操作,复制配置文件,修改id,端口,日志文件名字。至此全部搭建好集群。有问题,希望留言指正

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值