大数据上手项目(第四天)创建新用户并安装配置zookeeper

本文档详细介绍了在Linux环境下,为搭建Hadoop伪分布模式,如何创建hadoop用户,配置Zookeeper服务,包括用户添加、密码设置、环境准备、Zookeeper下载安装、配置文件修改、数据目录创建、分发到多台机器以及启动和检查Zookeeper状态的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

新建hadoop用户

在安装zookeeper之前,我们先新建一个用户hadoop,之后安装各种组件就安装在hadoop用户下

useradd hadoop
passwd hadoop

输入你想设置的密码,要输入两次

切换用户

su hadoop

因为我们要搭建的是hadoop伪分布,所以需要三台机器,一台master,两台slaver,在vwmare中克隆一下,克隆完成后按照之前的方法更改ip,主机名
在/etc/hosts 中添加映射关系

hadoop01  ip
hadoop02  ip
hadoop03  ip

安装配置zookeeper

ZooKeeper 是一个为分布式应用所设计的分布的、开源的协调服务。(配置文件需要协同、代码同步、应用机器群副本集、主从)分布式的应用可以建立在同步配置管理、选举(副本集、集群的选举、)、分布式锁、分组和命名等服务的更高级别的实现的基础之上

在hadoop目录下建一个app目录

nkdir app

zookeeper的压缩包可以在apache zookeeper下载,注意我们不要选择版本太高的,不稳定,我选择的是3.4.10

下载完成后通过远程连接软件上传到hadoop下的app目录,解压,创建软链接

tar -zxvf zookeeper-3.4.10.tar.gz
ln -s zookeeper-3.4.10 zookeeper

zookeeper主要配置的是conf里的zoo.cfg文件

cd /home/hadoop/app/zookeeper/conf

进入以后发现没有zoo.cfg文件,只有zoo_sample.cfg,所以我们要cp一个

cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.


这里要更改为路径,存放信息
dataDir=/home/hadoop/data/zookeeper/zkdata
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1


#这里是主要配置的地方,将master,salver改为你设置的ip或者主机名
server.1=master:2888:3888
server.2=salver:2888:3888
server.3=salver:2888:3888

更改完配置后保存退出,在三台机器上提前创建设置文件夹

mkdir /home/hadoop/data/zookeeper/zkdata

将zookeeper分发到三台机器

scp -r zookeeper hadoop@hadoop02:/home/hadoop/app
scp -r zookeeper hadoop@hadoop03:/home/hadoop/app

之后进入zkdata,创建文件myid

cd /home/hadoop/data/zookeeper/zkdata
vi myid

写入1,这里是根据你在zoo.cfg中配置的来
比如server.1=hadoop01:2888:3888
就在主机名是hadoop01的机器的myid中写入1,同理hadoop02写入2,hadoop03写入3
在这里插入图片描述

完成后进入zookeeper目录启动zookeeper

cd /home/hadoop/app/zookeeper
bin/zkServer.sh start

三台都需要启动,这涉及到zookeeper选举的问题,如果没有选举主leader的话,是无法正常启动的
启动后查看状态

bin/zkServer.sh status

在这里插入图片描述
可以看到zookeeper已经全部启动了,hadoop02为leader,其他两台机器是follwer
关闭zookeeper

bin/zkServer.sh stop

下一篇文章会安装hadoop伪分布的双namenode模式,希望点个关注再走

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值