hadoop HA配置与安装

本文详细介绍了在Linux环境下配置Hadoop HA的全过程,包括遇到的各种错误及解决办法,如虚拟机配置错误、IP冲突、文件传输问题、SSH免密设置、时间同步、ZooKeeper安装、Hadoop集群启动等,适合Hadoop新手学习。
摘要由CSDN通过智能技术生成

在这次安装linux是的过程中出现很多错误:比如刚开始的时候建立四个虚拟机的时候,配置时把名字写成node 01中间写了空格,导致配置时名字读不完,导致全都是node,所以千万不要留空格,前面的步骤都比较简单,都是些小错误,稍微改一下就行,安装linux时也要注意一些小问题,我刚开始就是把ip设置成一样了,导致四台机子的ip都一样,配置文件完成之后也改不过来,所以这时可以打开机子的属性,自行手动改一下机子的ip还有要注意的就是在发送文件的过程中千万不要按control+c让他停下来,不论代码冒出来的多少,时间长或短,都要慢慢等待,否则就会导致文件传输不完,后面出错要回来慢慢找(我就是这样的,当时还找了一半天错误,没想到的是这末基础的小错误)这些都可能会影响到ha的配置,这些小问题之前没注意,结果都在HA配置这里出问题了,在HA的时候, 在后面配置nmenode等信息时我就是一直错了,走一步错一步,几乎天天都在改错,(所以细心很重要)我会把我的错误都在下面成列出来(缺少namenode,datanode,journal,出现两台standby,缺少zkfc我都出现过,包括jps后之前有的,第二次打开电脑却不见了,免密钥功能自动失效而(手动配置就好,看清楚机子编号)文章简单清晰,且都配有图片,可能出现的问题和解决方法我都一一例出

Hadoop HA安装(适用新手)
说明:(让操作简单方便一点)
按ESC,:wq为保存退出 ,:q!为不保存退出,复制,粘贴时不能用control+c,+v了,直接右键复制,粘贴就好,vi是打开文件并可以修改文件,进入文件后修改文件时要输入时按i即可在原文件里改动了。table键可以自动填充路径等。
安装vmware虚拟机

三.hadoop高可用的安装

1.分发jdk到node03、04、02
-scp jdk-7u67-linux-x64.rpm node02:pwd
-scp jdk-7u67-linux-x64.rpm node03:pwd
-scp jdk-7u67-linux-x64.rpm node04:pwd
并在Xshell的全部会话栏里一起ll,看jdk是否发送成功。
注意:` 这一符号是数字1左边这个键
在这里插入图片描述在这里插入图片描述

2.分别在node02、03、04上执行rpm安装命令
-rpm -i jdk-7u67-linux-x64.rpm
在node01上 注意cd /etc(此路径下),在此目录下把profile文件分发到
node03、04、02上。
scp profile node02:pwd
scp profile node03:pwd
scp profile node04:pwd
3.利用Xshell全部会话栏,source /etc/profile
利用Xshell全部会话栏,jps,看02、03、04这三台机子
的jdk是否装好。
在这里插入图片描述
4.
在这里插入图片描述

就可以在里面输入命令,然后同步到四个机子
在这里插入图片描述
5.第一步调时间:
6.在全部对话框中输入date查看一下四个机子是否同时,(以下在全部对话框中输入)
第一步:yum -y install ntp
第二步:ntpdate time1.aliyun.com
7.cat /etc/sysconfig/network查看HOSTNAME是否正确
8.cat /etc/hosts查看IP映射是否正确
若不正确,可以改文件,也可以把node03上的用scp分发过去。
9.cat /etc/sysconfig/network
10.cat /etc/sysconfig/selinux (防火墙是否关闭)
service iptables status

在这里插入图片描述在这里插入图片描述

11.接下来检查一下有没有 .ssh(全部对话框中)
在这里插入图片描述
某台机子若没有则输入 :ssh localhost(记得exit退出)看截图
进如。Ssh文件查看一下,
12.进入ss.h目录文件夹下: cd .ssh
ll 查看公钥
13.将公钥发送到其他三个机子;如我的:
scp id_dsa.pub node02:pwd/node01.pub (将node01的公钥发送到node02)
依次发送到机子三和机子四:
scp id_dsa.pub node03:pwd/node01.pub
scp id_dsa.pub node04:pwd/node01.pub
在这里插入图片描述
14.再全部回话下查看一下是否都有公钥:而且都是(4台机子)这样的:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值