Hadoop 2.6.4 在Ubuntu上的伪分布式集群的配置

1.简介：

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，在大数据处理方向有着非常广泛的运用。

先去Haddop官网上下载2.6.4版本的hadoop，到目前为止，hadoop的最稳定的版本是2.6.4版。

2.安装Java环境

可以安装openJDK，个人比较推荐Oracle JDK。此处以Oracle JDK为例。

到oracle jdk官网根据自己的操作系统版本下载最新版本的jdk。本文采用jdk-8u77-linux-x64.tar.gz为例。

解压到用户主目录下（本文中的用户主目录为 /home/hupeng,这个值根据实际情况略有差异）。配置环境变量。

配置的文件在~/.profile

如下：

export JAVA_HOME=/home/hupeng/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

其中JAVA_HOME 根据自己解压的具体目录而定。
配置完后使用 source  ~/.profile 命令使环境变量生效。

运行命令java -version

结果类似下面样例的环境变量应该就配置完成了

java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

3.安装以及配置hadoop

下载页面：http://hadoop.apache.org/releases.html

本文采用了 2.6.4版本：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

先把它下到本地，解压。本文样例中解压到了用户主目录下。hadoop的目录~/hadoop-2.6.4/

修改配置文件位于~/hadoop-2.6.4/etc/hadoop

首先修改hadoop-env.sh文件中的JAVA_HOME 的参数，填写实际的Java的安装目录，样例如下

export JAVA_HOME=/home/hupeng/jdk1.8.0_77

为了方便起见本文将所有的配置都写在core-site.xml文件下

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>


<property>
<name>hadoop.tmp.dir</name>
<value>/home/hupeng/hadoop-2.6.4/temp</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>0.0.0.0</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

其中

<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>

这里配置了默认的文件系统，这里使用了hadoop的HDFS文件系统

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hupeng/hadoop-2.6.4/temp</value>
</property>

这个配置了临时文件的目录

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
这个配置了文件系统的副本的数量，由于是伪分布式，只有一台主机所以值是1就够了，默认为3。

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

这个配置了mapreduce的运算框架为yarn

<property>
<name>yarn.resourcemanager.hostname</name>
<value>0.0.0.0</value>
</property>

这里配置了资源调度框架的主机名，这里使用的是本机

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
yarn.nodemanager.aux-services 参数解释: NodeManager 上运行的附属服务。 需配置成 mapreduce_shuffle, 才可运行 MapReduce

格式化hdfs

切换到

~/hadoop-2.6.4/bin 执行

./hadoop namenode -format

为了方便起见可以添加hadoop的环境变量，如下

export HADOOP_HOME=/home/hupeng/hadoop-2.6.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH