【Hadoop部署】Hadoop环境部署5-Zookeeper、Kafka安装

本文详细介绍了在Hadoop环境中部署Zookeeper和Kafka的步骤。首先,配置Zookeeper,包括修改zoo.cfg文件,设置myid,并进行Zookeeper的测试以确保正常运行。接着,配置Kafka的server.properties文件,设定broker.id,并解决Unrecognized VM option 'UseCompressedOops'的问题。最后,启动Kafka并在三台机器上运行,通过测试验证Kafka队列搭建成功。
摘要由CSDN通过智能技术生成

zookeeper配置

cd zk/conf
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
修改:

dataDir=/usr/local/zk/data

新增:

server.0=sparkproject1:2888:3888 
server.1=sparkproject2:2888:3888
server.2=sparkproject3:2888:3888

同步配置

mkdir /usr/local/zk/data
ssh sparkproject2 "rm -rf /usr/local/zk"
ssh sparkproject3 "rm -rf /usr/local/zk"
scp -r /usr/local/zk root@sparkproject2:/usr/local/zk
scp -r /usr/local/zk root@sparkproject3:/usr/local/zk

设置myid

echo 0 > /usr/local/zk/data/myid
ssh sparkproject2 "echo 1 > /usr/local/zk/data/myid"
ssh sparkproject3 "echo 2 > /usr/local/zk/data/myid"

测试Zookeeper

所有服务器执行

zkServer.sh status

应该会产生一个leader两个follower

Kafk

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值