步骤:
1. 下载和解压Hadoop 2.0.5-alpha
2.配置Hadoop环境文件和环境变量文件
3.将配置好的Hadoop主目录发送到各个节点
4.启动Hadoop并测试
在以上的4个步骤当中,最需要值得重视的是第2步,一定要设置正确,否则会产生很多错误。
另外,由于各个节点之间需要进行通信,就会导致网络防火墙和端口配置等问题,因为是测试环境,所以直接将防火墙关了就行了,否则可能会导致DN(DataNode)或者是NM(NodeManager)无法启动的问题,至于实际生产环境中的网络配置就不在这么说明了。
1.下载和解压Hadoop 2.0.5-alpha
到Hadoop官网上下载下来之后,在hadoop用户下面解压,为了方便分辨,我将解压后得到的文件夹改名为hadoop_dir。
2.配置Hadoop配置文件和环境变量文件
(1) 配置环境变量文件
先使用root用户,对/etc/profile文件进行修改。
添加了如下内容:
#JDK
export JAVA_HOME=/usr/java/jdk1.7.0_51
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/-:$JAVA_HOME/jre/lib/-:$JAVA_HOME/jre/lib/ext/-:.
#Hadoop
export HADOOP_HOME=/home/hadoop/hadoop_dir
export PATH=$PATH:$HADOOP_HOME/bin
export PAHT=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
修改了/etc/profile文件之后,使用scp命令发送到各个节点,覆盖原有文件。
然后,执行source /etc/profile 命令,激活所添加的变量。
(2) 配置Hadoop配置文件
Hadoop版本不同,目录结构也不大一下,在我的这个版本中,需要修改的文件都放下$HADOOP_HOME/etc/hadoop目录下面,需要进行修改的文件名以及具体修改的内容如下:
core-site.xml
<configuration>
<!--
A base for other temporary directories.
-->
<property>
<name>hadoop.tmp.dir<