【大数据】Hadoop集群的安装与配置

条件

采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3
Spark集群实验环境共包含3台服务器，每台机器的主要参数如表所示：

服务器	HOSTNAME	IP	功能
spark1	spark1	92.16.17.1	NN/DN/RM Master/Worker
spark2	spark2	92.16.17.2	DN/NM/Worker
spark3	spark3	92.16.17.3	DN/NM/Worker

过程

预先准备工作

在 spark1 主节点上解压 Hadoop 安装包，该包已上传至 /stage 目录：


接着，将解压好的 hadoop-2.7.3 目录整体移动到 /app/hadoop 目录下：

接下来，编辑 /etc/profile 文件，添加如下图矩形框内所示环境变量项：


注意：/etc/profile 文件修改完成后，需要重启系统以使新添加的环境变量生效
另外需要在 HADOOP_HOME目录下分别创建tmp, name, data, logs四个子目录，如下图所示：

最后，确认Hadoop版本和路径信息正确

修改YARN配置文件

需要修改的 YARN 配置文件保存在$HADOOP_HOME/etc/haoop目录下，需要修改的文件共有 7 个，分别是：core-site.xml, hadoop-env.sh, hdfs-
site.xml, yarn-site.xml, yarn-env.sh, mapred-site.xml, slave.

1. core-site.sh
   在 <configuration></configuration>之间添加如下图所示内容：
   
   

2. hadoop-env.sh
   打开 hadoop-env.sh, 添加 HADOOP_LOG_DIR 环境变量项，修改HADOOP_CONF_DIR,PATH和JAVA_HOME以及HADOOP_环境变量值：
   
   
   编译hadoop-env.sh，确认修改生效
   

3. hdfs-site.xml
   

4. yarn-env.sh
   

5. yarn-site.xml
   
   
   

6. mapred-site.xml
   先要从mapred-site.xml.template模板中复制出mapred-site.xml文件，然后再编辑mapred-site.xml, 添加内容：
   

7. slave
   编辑slaves, 删除原有条目，添加三台主机的名称：
   

向各节点分发Hadoop程序

在 spark1 主节点上，使用 scp 命令把 hadoop-2.7.3 目录复制到 spark2 和 spark3 主机的 /app/hadoop 目录下：