运维企业实战——hadoop+zookeeper高可用

本文详细介绍了如何在运维环境中搭建Hadoop与Zookeeper的高可用集群。首先清理实验环境,确保所有服务器安装并配置好JDK和Hadoop。接着在server2上部署Zookeeper,并设置从节点信息,配置ID并启动。通过查看节点状态确认Zookeeper集群正常运行。然后在server1上配置Hadoop,并在其他节点启动Zookeeper。进行Hadoop集群的格式化和启动。当关闭server1时,server5变为active状态,表明高可用已经实现。通过server1成功上传文件验证了集群的稳定性。
摘要由CSDN通过智能技术生成

一、实验环境
清除实验环境:

[hadoop@server1 hadoop]$ sbin/stop-yarn.sh 
[hadoop@server1 hadoop]$ sbin/stop-dfs.sh 

确保每台机子上都安装了jdk hadoop并配置了环境

删除server1,server2,server3, server4 tmp中的内容

[hadoop@server1 hadoop]$ cd /tmp/
[hadoop@server1 tmp]$ rf -rm *
[hadoop@server2 ~]$ rm -rf /tmp/*
[hadoop@server3 ~]$ rm -rf /tmp/*
[hadoop@server4 ~]$ rm -rf /tmp/*

二、在server2上搭建zookepper

[hadoop@server2 ~]$ ls
hadoop               java                        zookeeper-3.4.9.tar.gz
hadoop-3.0.3         jdk1.8.0_181
hadoop-3.0.3.tar.gz  jdk-8u181-linux-x64.tar.gz
[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz
[hadoop@server2 ~]$ cd zookeeper-3.4.9
[hadoop@server2 zookeeper-3.4.9]$ cd conf/
[hadoop@server2 conf]$ ls
configuration.xsl  log4j.properties  zoo_sample.cfg\

添加从节点信息

[hadoop@server2 conf]$  cp zoo_sample.cfg zoo.cfg
[hadoop@server2 conf]$ vim zoo.cfg #添加以下代码到文件末尾

在这里插入图片描述
配置id 并启动zookeeper
各节点配置文件相同,并且需要在/tmp/zookeeper 目录中创建 myid 文件,写入一个唯一的数字,取值范围在 1-255

[hadoop@server2 ~]$ mkdir /tmp/zookeeper
[hadoop@server3 ~]$ mkdir /tmp/zookeeper
[hadoop@server4 ~]$ mkdir /tmp/zookeeper
   
[hadoop@server2 conf]$ echo 1 > /tmp/zookeeper/myid
[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... ST
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值