Hadoop高可用集群搭建及测试

**

Hadoop高可用集群搭建（遇到的错误）及测试

**
本文主要介绍的是hadoop的高可用集群搭建步骤，个人觉得还挺详细得哈哈哈哈哈哈还附有截图，希望可以给有需要的童鞋一点帮助。然后文章的最后也列举了本人在安装过程中所遇到的困难以及解决办法，希望可以给正在为错误焦头烂额的你一点点渺茫的希望哈哈哈哈哈~
**

一、前期准备

**

1、 首先安装VMware 虚拟机，先配置好一台虚拟机的公共配置，然后其余的克隆出来即可（我用的是4台克隆的虚拟机），Linux环境要搭好，每台虚拟机的IP地址要和对应的虚拟机对应。 ！！！！最重要的是每台虚拟机的防火墙一定都要关了！！！！(如果不关闭防火墙后面搭建集群的过程中真的会有很多错误！)
关闭防火墙： service iptables stop
查看防火墙状态： service iptables status（下图为关闭防火墙时图片）

2、如果觉得在VMware中跑四台机子，可能会很麻烦，要来回切换在Windows系统与Linux之间。这个时候就可以下载一个软件：Xshell 5 链接：https://pan.baidu.com/s/14iO-wsRXt8AxOpmuj4qR2A
提取码：npqj

这个软件真的很方便，不仅仅不用在Windows和Linux中来回切换，还可以直接把Windows中的文件传输到Linux中：

这个时候还要下载一个软件：Xftp 4
链接：https://pan.baidu.com/s/14XSkeJ9fU30_otAAlbMfGw
提取码：mo3e

3、你还要确保你的四台虚拟机之间可以ping的通，因为后面要互相之间传输文件！！！（下图举例为node02上ping node01正确的情况）

**

二、搭建过程（具体步骤）

**

1、我是在4台虚拟机上跑Hadoop集群，主机名以及IP分别为：
node01 192.168..31
node02 192.168..32
node03 192.168..33
node04 192.168..34
2、安装jdk(在node01上安装，已经在第一台机子上安装过的就不用了)，我安装的版本是：jdk-7u67-linux-x64
链接：https://pan.baidu.com/s/1WU28omtvsHH_LCHk1HxuPg
提取码：zqlr
下载到桌面上后，用Xftp 4传输到Linux中，接着安装：
**①rpm安装命令：rpm -i jdk-7u67-linux-x64.rpm
**②查看java路径：whereis java
③****添加环境变量：vi + /etc/profile
在文件最后加上（我的）：

export JAVA_HOME=/usr/bin/java
export PATH=$PATH:$JAVA_HOME/bin

④加载一下刚才更改过的profile文件：source /etc/profile（只要更改profile中的内容就要重新加载一下，不然是没有用的！）
如果出现 -bash: jps: command not found
改：

export JAVA_HOME=/usr/bin/java
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin

此时已经安装好jdk，这个时候你就可以键入：jps（如图则安装成功！）

⑤****分发jdk到node02、03、04:

scp jdk-7u67-linux-x64.rpm node02:`pwd`
scp jdk-7u67-linux-x64.rpm node03:`pwd`
scp jdk-7u67-linux-x64.rpm node04:`pwd`

⑥****分别在node02、03、04上执行rpm安装命令：

rpm -i jdk-7u67-linux-x64.rpm

并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。

⑦****在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上,键入命令：

scp profile node02:`pwd`
scp profile node03:`pwd`
scp profile node04:`pwd`

⑧利用Xshell全部会话栏：source /etc/profile
利用Xshell全部会话栏，jps，看02、03、04这三台机子的jdk是否装好。

jdk安装好的 话，会出现下图：

⑨****同步所有服务器的时间：
在全部会话栏里键入：date （查看机子当前的时间）
比较四台机子的时间，如果出入很大的话，就要安装时间同步器。因为时间不能差太大，否则集群启动后某些进程跑不起来。
yum进行时间同步器的安装：yum -y install ntp
执行同步命令：ntpdate time1.aliyun.com （和阿里云服务器时间同步）

3、装机之前的配置文件检查：
①****查看主机名是否和当前虚拟机一致，以及网络状态：cat /etc/sysconfig/network

②****查看IP映射是否正确：cat /etc/hosts
（查看主机名是否和IP相对应）

③****关闭SELINUX服务：cat /etc/sysconfig/selinux
看是否SELINUX=disabled，若不是则修改。

④****查看防火墙是否关闭：service iptables status
（下图显示已关闭，若没有关闭则使用关闭防火墙命令：service iptables stop）

4、免秘钥设置（此举的目的就是为了以后node01可以不用密码就可以给其他三台虚拟机发送文件等）
①在家目录下 ：ll –a
看下有无.ssh文件，如果没有就使用命令：ssh localhost（生成秘钥）（ssh localhost后要exit）。

如果有的话就打开.ssh文件：cd .ssh
并且ll一下

②****把node01的公钥发给其他三台机子：

   scp id_dsa.pub nod