超详细Hadoop高可用环境搭建—

本文链接：https://blog.csdn.net/weixin_48259187/article/details/106860379

本文详细介绍了从零开始搭建Hadoop高可用环境的过程，包括vmware虚拟机安装、Linux基础配置、Hadoop伪分布式安装以及高可用安装。内容涵盖了虚拟机克隆、JDK安装、Hadoop配置、Zookeeper安装、JournalNode配置、NameNode高可用以及MapReduce准备等关键步骤。

摘要由CSDN通过智能技术生成

1. vmware安装与Linux基础配置

1.1下载安装vmware

下面是我跟着老师安装过程中使用到的一些软件链接。
①vmware虚拟机
VMware Workstation 12安装教程
②xshell
Xshell5安装教程
③Xftp
Xftp4安装教程

1.2新建虚拟机

新建一台虚拟机basic
VMware新建虚拟机过程

1.3初步配置Linux

1.3.1启动虚拟机，设置IP

单击VMware Workstation的编辑——虚拟网络编辑器，查看自己的子网IP
在这里插入图片描述
在Cent OS中，输入以下命令：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

在打开的文件中，删除UUID和MAC地址（HWADDR）
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.198.30（“198”是根据之前在VMware Workstation中查到的子网IP来进行设置）
NETMASK=255.255.255.0
GATEWAY=192.168.198.2
DNS=192.168.198.2
设置完成后：
在这里插入图片描述
保存退出后，执行：

service network restart

出来均为OK即可
在这里插入图片描述
执行以下命令ping一下百度，看看能否ping通：
（在Linux命令运行时，按Ctrl+C组合键可以打断命令运行）

ping www.baidu.com

在这里插入图片描述

1.3.2删除70-persitsent-net.rules

删除指令（任意目录下）：

rm –fr /etc/udev/rules.d/70-persistent-net.rules

为什么要删除上述文件呢？
接下来我们要以basic为原版，克隆4台虚拟机，如果保留以上文件，在通过该虚拟机克隆的时候：
1.文件被带到了新的虚拟机中
2.VM Warestation变更了新的虚拟机的MAC地址
导致：新的虚拟机不能使用eth0接口，导致后续配置的/etc/sysconfig/network-scripts/ifcfg-eth0无法应用

1.3.3关闭防火墙和Selinux

按序输入以下指令：

 1. service iptables stop 
 2. chkconfig iptables off

使用以下命令打开config，设置SELINUX=disabled：

vi /etc/selinux/config

1.3.4关机、拍摄快照

按照如下步骤给虚拟机拍个快照
在这里插入图片描述

1.4克隆4台虚拟机

1.4.1用快照克隆4台虚拟机

在这里插入图片描述
我克隆了4台虚拟机，分别命名为node01、node02、node03、node04.

1.4.2配置4台虚拟机的主机名、IP、hosts

1、配置主机名
打开4台虚拟机，分别配置对应的主机名。

vi /etc/sysconfig/network

分别将HOSTNAME的值改为node01/node02/node03/node04
在这里插入图片描述
2、配置IP
分别配置4台机子的IP
node01的ip为192.168.65.31
node02的ip为192.168.65.32
node03的ip为192.168.65.33
node04的ip为192.168.65.34

使用下列命令打开ifcfg-eth0文件配置IP：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

在这里插入图片描述
完成后千万不要忘记执行：

service network restart

确保输入的都是OK，确保可以ping通百度：

3、配置hosts
使用以下命令打开hosts文件进行配置：

vi /etc/hosts

在这里插入图片描述
（另外3台机子的配置方法、内容和node01完全相同。）
配置完之后poweroff，拍快照，保存一个非常干净的Linux版本
4台虚拟机之间互相ping一下看是否能ping通，使用指令 ping nodeXX

1.4.3配置Windows下的hosts文件

在我的电脑里，找到C:\Windows\System32\drivers\etc目录，打开hosts文件进行编辑。
在这里插入图片描述
在hosts文件中，添加4台虚拟机。
配置完后，打开电脑的cmd窗口，ping node01/02/03/04 ，看是否ping成功

Linux的基础配置到此就完成啦！！

2.Hadoop伪分布式安装

接下来的步骤均由Xshell和Xftp来操作。

2.1在第一台虚拟机中用rpm安装jdk

我的第一台虚拟机是node01
先在根目录下，将jdk上传（这里就使用到了Xftp传输文件）
在这里插入图片描述
输入指令安装jdk

rpm -i jdk-7u67-linux-x64.rpm

执行以下命令确定java的路径：

whereis java

在这里插入图片描述
根据查询到的java的路径，修改profile文件下的环境变量：
执行下列命令打开profile文件

vi + /etc/profile

在打开的的文件，添加：
export JAVA_HOME=/usr/bin/java
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin
执行下列命令：

source /etc/profile

执行：

jps

确保jps进程能正常启动
在这里插入图片描述

2.2免密钥

首先，在家目录下，ll –a ,看有无.ssh文件，
若无，则先ssh localhost一下（登录完别忘了exit）
然后，cd .shh进入ssh
在这里插入图片描述
在.ssh目录下输入下面两个指进行免密钥

   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证：ssh XXXX时不需要输入密码
ssh loocalhost（不要忘记exit）
ssh node03（不要忘记exit）

2.3安装Hadoop2.6.5

首先进入/opt 建立一个目录，这里的/zh是我自己创的文件名，你也可以设为别的名字

cd /opt
mkdir zh

把准备好的hadoop-2.6.5.tar.gz文件传给node01

tar xf hadoop-2.6.5.tar.gz -C /opt/zh

(注：-C的C 是大写）
然后到/opt/zh目录下去看一下是否解压好了，ll可查看该目录下的文件，其中sbin这个文件夹很重要,放的是系统级别的一些可执行脚本。

cd /opt/zh/hadoop-2.6.5

在这里插入图片描述
要想在任意目录下启动hadoop，就要在配置文件里做些修改。
添加新的export HADOOP_HOME语句。

vi + /etc/profile
    export JAVA_HOME=/usr/bin/java
	export HADOOP_HOME=/opt/zh/hadoop-2.6.5
	export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述
修改完后不要忘记

source /etc/profile

若输入hd按Tab键可以联想出hdfs
输入start-d按Tab键可以联想出start-dfs
就表示配置成功了

2.4修改Hadoop配置文件信息

cd /opt/zh/hadoop-2.6.5/etc/hadoop

注：以上路径的etc可不是根目录下的etc
我们可以看到该目录下有许多文件
在这里插入图片描述

   修改蓝色框的里三个文件
    vi hadoop-env.sh
	vi mapred-env.sh
	vi yarn-env.sh	
	给这三个文件里的JAVA_HOME都改成绝对路径/usr/java/jdk1.7.0_67
	若export之前有“#”，则把“#”删除
配置红色框里三个文件的信息	
配置 vi core-site.xml
在<configuration>与</configuration>之间插入下面代码
    <property>
         <!--配置主节点信息--