Hadoop集群

目的

了解如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。

先决条件

一、确保在你集群中的每个节点上都安装了所有必需软件。

二、获取Hadoop软件包。

安装

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。

集群配置

要配置Hadoop集群，你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。

Hadoop守护进程指NameNode/DataNode 和JobTracker/TaskTracker。

配置Hadoop守护进程的运行环境

管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。

设定JAVA_HOME使之在每一远端节点上都被正确设置。

启动Hadoop

启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format

在分配的NameNode上，运行下面的命令启动HDFS：
$ bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$ bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

停止Hadoop

在分配的NameNode上，执行下面的命令停止HDFS：
$ bin/stop-dfs.sh

bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。

在分配的JobTracker上，运行下面的命令停止Map/Reduce：
$ bin/stop-mapred.sh 

bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。

Hadoop完全分布式模式配置

一、新建另外两台Linux虚拟机

完全分布式模式共三台虚拟机，前述伪分布式的虚拟机（bigdata128）作为master主节点，克隆另外两个虚拟机（bigdata129、bigdata131）作为slaves子节点，克隆机自带安装JDK、Hadoop及配置文件。

注：此配置是为学习所用，且电脑资源有限，因此照搬伪分布式配置，将NameNode、SecondaryNameNode、ResourceManager全部配置在主节点bigdata128上面，实际情况则相反，应该分别配置在不同的节点上面。

二、修改以下配置文件

①slaves配置文件

三台虚拟机分别都运行命令  vi  /opt/module/hadoop-2.7.3/etc/hadoop  slaves

修改（vi）slaves为：

bigdata129

bigdata131

②修改\etc\hosts配置文件

三台虚拟机分别都运行命令  vi  \etc  hosts

注释已有内容，添加集群三台虚拟机的ip及对应主机名：

192.168.163.128  bigdata128

192.168.163.129  bigdata129

192.168.163.131  bigdata131

③修改\etc\hostname配置文件

三台虚拟机分别都运行命令  vi  \etc  hostname

添加各自的主机名bigdata128或者bigdata129或者bigdata131。

重启全部虚拟机，主机名生效。

三、格式化

在主节点bigdata128上面输入格式化命令（hdfs namenode -format），格式化集群。

注：如果不是第一次格式化，三台虚拟机都删除\opt\module\hadoop-2.7.3\下面的tmp、logs目录：rm –rf \opt\module\hadoop-2.7.3\tmp    rm –rf \opt\module\hadoop-2.7.3\logs

注：如果格式化之前启动过集群，先在主节点bigdata128上面停止集群（stop-all.sh），再格式化。

四、启动集群

在主节点bigdata128上面输入启动命令（start-all.sh），启动集群。