Hadoop高可用安装

本文详细记录了Hadoop高可用安装的过程,包括分发JDK、配置免密钥、时间同步、主机名检查、环境配置、Zookeeper安装与配置、Hadoop集群格式化与启动等关键步骤,解决在安装过程中遇到的问题,如JournalNode进程启动失败和集群启动密码问题。
摘要由CSDN通过智能技术生成

Hadoop高可用安装

我在第28步启动journalnode的时候做不出来journalnode进程,返回去看了看某些配置,发现配置hdfs-site.xml时里面的配置信息我粘贴了两次。
我在第31步启动hdfs集群时一直都跳不出来进程,然后界面上出现了password,就想着 也有可能是前面的免密钥没有做好,然后重新做了一遍免密钥后就可以成功启动了。
在这里插入图片描述
1.将jdk分别分发到node02、03、04三台机子

  • 在node01机子上分别输入:
   -scp jdk-7u67-linux-x64.rpm node02:`pwd`
   -scp jdk-7u67-linux-x64.rpm node03:`pwd`
   -scp jdk-7u67-linux-x64.rpm node04:`pwd`
  • 注意:` 这一符号是数字1左边这个键
  • 分发的运行截图如下:
    在这里插入图片描述
  • 完成分发后可以在node02,node03,node04三台机子上分别回到家目录下输入“ll”看看是否都已经成功安装上jdk。
  • 分发成功的截图如下:
    在这里插入图片描述

2.分别在node02、03、04三台机子上执行rpm安装命令

  • 在node02、03、04三台机子上分别输入:
	-rpm -i jdk-7u67-linux-x64.rpm   
  • rmp安装命令运行截图node0304都如下所示:
    在这里插入图片描述

3.在node01上输入cd /etc,在此目录下把profile文件分发到node02、03、04上
- 在node01机子上输入:

		-scp profile node02:`pwd`
  • 分发profile文件的运行截图如下:
    在这里插入图片描述

4.利用Xshell全部会话栏

  • 在Xshell全部会话栏中输入:
	source /etc/profile

在这里插入图片描述

  • 查看02、03、04这三台机子的jdk是否已经安装好
  • 在Xshell全部会话栏中输入
	jps

在这里插入图片描述

  • 如果node020304三台机子上都可以出现数字和jps就代表jdk安装成功
  • jdk安装成功的运行截图如下:
    在这里插入图片描述

5.查看机子当前的时间

  • 在Xshell全部会话栏中输入
	date

在这里插入图片描述

  • 查看机子时间的运行截图如下:
  • 需要注意的是每台机子之间的时间不能相差太大(差个5秒左右关系不大),否则集群启动后有些进程可能会跑不起来,比如我的机子时间时间相差有点大(下图是我机子时间不一样的截图)(第一张图是node01机子,因为之前名字没对应上,后面才发现这个问题,会改回来)
    在这里插入图片描述
    在这里插入图片描述

6.每台机子的时间不同步,可以进行以下步骤

  • yum进行时间同步器的安装,在node01机子上输入:
	yum -y install ntp
  • yum进行时间同步器的安装的运行截图如下:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • yum进行时间同步器的安装下载好后,执行同步命令和阿里云服务器时间同步
  • 在node01机子上输入
	ntpdate time1.aliyun.com  
  • 执行同步命令运行截图如下:
    在这里插入图片描述
  • node01 02 03 04时间已同步的运行截图如下:
  • 因为我输入命令的时间不同,所以以下截图时间有少许间隔
  • 第一张图是node01机子,因为之前名字没对应上,后面才发现这个问题,会改回来
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

7.查看HOSTNAME是否正确

  • 在全部对话栏中输入
 	cat /etc/sysconfig/network

在这里插入图片描述

  • 我的node02 03 04的HOSTNAME都可以一一对应上,除了node01
  • 所以在node01上的运行截图都会显示成node02(不要混淆哈哈哈)
  • 查看HOSTNAME的运行截图如下:
    在这里插入图片描述
  • 当HOSTNAME和机子对应不上时,根据如下修改HOSTNAME
  • 我在node01机子上将HOSTNAME改回了node01
    在这里插入图片描述

8.查看IP映射是否正确

  • 在node01输入
	 cat /etc/hosts 
  • 查看IP映射的运行截图如下(都已经对应上):
    在这里插入图片描述

9.查看cat /etc/sysconfig/selinux里是否SELINUX=disabled

  • 在全部对话栏中输入
	cat /etc/sysconfig/selinux

在这里插入图片描述

  • 出现SELINUX=disabled即正确 运行截图如下:
    在这里插入图片描述

10.查看防火墙是否关闭

  • 在全部对话栏中输入
	 service iptables status

在这里插入图片描述

  • 防火墙已关闭的运行截图如下:
    在这里插入图片描述

11.在家目录下查看每台机子有无.ssh文件

  • 在全部对话栏中输入
	ll -a

在这里插入图片描述

  • 查看有无.ssh文件运行截图如下(该图中没有.ssh文件):
    在这里插入图片描述
  • 当没有看到.ssh文件时,就在没有的机子上输入下面的代码
  • 千万记得ssh local
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值