Hadoop 2.0.5-alpha集群搭建02-Hadoop集群配置

步骤：

1.  下载和解压Hadoop 2.0.5-alpha

2．配置Hadoop环境文件和环境变量文件

3．将配置好的Hadoop主目录发送到各个节点

4．启动Hadoop并测试

 

在以上的4个步骤当中，最需要值得重视的是第2步，一定要设置正确，否则会产生很多错误。

另外，由于各个节点之间需要进行通信，就会导致网络防火墙和端口配置等问题，因为是测试环境，所以直接将防火墙关了就行了，否则可能会导致DN(DataNode)或者是NM(NodeManager)无法启动的问题，至于实际生产环境中的网络配置就不在这么说明了。

 

1.下载和解压Hadoop 2.0.5-alpha

到Hadoop官网上下载下来之后，在hadoop用户下面解压，为了方便分辨，我将解压后得到的文件夹改名为hadoop_dir。

 

2．配置Hadoop配置文件和环境变量文件

 

(1) 配置环境变量文件

先使用root用户，对/etc/profile文件进行修改。

添加了如下内容：

#JDK
export JAVA_HOME=/usr/java/jdk1.7.0_51
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/-:$JAVA_HOME/jre/lib/-:$JAVA_HOME/jre/lib/ext/-:.
 
#Hadoop
export HADOOP_HOME=/home/hadoop/hadoop_dir
export PATH=$PATH:$HADOOP_HOME/bin
export PAHT=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

修改了/etc/profile文件之后，使用scp命令发送到各个节点，覆盖原有文件。

然后，执行source /etc/profile 命令，激活所添加的变量。

 

（2）  配置Hadoop配置文件

 

Hadoop版本不同，目录结构也不大一下，在我的这个版本中，需要修改的文件都放下$HADOOP_HOME/etc/hadoop目录下面，需要进行修改的文件名以及具体修改的内容如下：

 

core-site.xml

<configuration>
<!--
        A base for other temporary directories.
-->
        <property>
               <name>hadoop.tmp.dir<