RHEL 6.6搭建hadoop 2.x集群环境

1. 环境描述

    OS版本：RHEL 6.6 64位

    Hadoop版本：2.7.1

    各主机信息：

主机名	IP地址	角色
h201	172.17.10.28	Namenode，secondarynamenode，jobtracker
h202	172.17.10.29	Datanode，tasktracker
h203	172.17.10.30	Datanode，tasktracker

2. 准备工作

    2.1. 安装jdk 1.8

        从官网下载jdk 1.8二进制安装文件jdk-8u51-linux-x64.tar.gz，上传到h201主机并解压。

移动jdk目录到/usr/local下并修改所有者和权限：

修改/etc/profile配置文件，增加java环境变量：

为另外两台主机做相同的配置。

2.2. 配置主机间SSH互信（无密码登录）

        分别在三台主机上执行以下操作：

        a. 创建普通用户grid用来安装和启动hadoop集群：

b. 切换到grid用户，生成公钥和秘钥：

c. 将三台主机生成的id_rsa.pub文件中的内容写入同一个authorized_keys文件中，并分别存放在各主机的/home/grid/.ssh/authorized_keys位置

d. 测试SSH互信

2.3. 安装常用软件包：

        yum groupinstall "Development Tools"

3. 下载并安装hadoop 2.7.1

    3.1. 下载hadoop安装包

        从官网下载最新版本的hadoop二进制安装包并上传到h201主机并解压：

3.2. 修改hadoop配置文件

        a. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/hadoop-env.sh

b. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/yarn-env.sh

c. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/slaves

d. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/core-site.xml

e. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/hdfs-site.xml

f. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/mapred-site.xml

g. 修改配置文件/home/grid/hadoop-2.7.1/etc/hadoop/yarn-site.xml

    3.3. 将hadoop_2.7.1目录分发到各个节点的/home/grid/目录下

    3.4. 启动集群并检验

        a. 格式化namenode：

b. 启动HDFS

c. 启动YARN

d. 验证各节点启动的进程

至此，hadoop集群搭建完成。

    4. 故障处理

        4.1. 不能装载hadoop本地库的错误

如图，在启动HDFS时提示不能加载hadoop本地库，由于官方发布的hadoop包的本地库文件libhadoop.so.1.0.0不正确，导致无法加载本地库。

        解决方法：从官网下载源码包，在服务器本地重新编译源码包即可。