Ubuntu 14.10(32位)上搭建Hadoop2.5.0单机伪分布式环境

1.环境介绍

操作系统：Ubuntu14.10 32位

Hadoop版本：Hadoop2.5.0

Java版本：jdk1.7.0

2.安装JDK，http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz，解压

zyg@zyg-Rev-1-0:~/disk/study$ tar -zxvf jdk-7-linux-i586.tar.gz

设置JAVA_HOME环境变量

zyg@zyg-Rev-1-0:~/disk/study$ sudo gedit /etc/profile

添加以下内容

export JAVA_HOME=/home/zyg/disk/study/jdk1.7.0
export JRE_HOME=/home/zyg/disk/study/jdk1.7.0/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HOME/bin

使配置生效

zyg@zyg-Rev-1-0:~/disk/study$ source /etc/profile

3.安装Hadoop，http://archive.apache.org/dist/hadoop/core/hadoop-2.5.0/hadoop-2.5.0.tar.gz，解压

zyg@zyg-Rev-1-0:~/disk/study$ tar -zxvf hadoop-2.5.0.tar.gz

设置Hadoop环境变量

zyg@zyg-Rev-1-0:~$ sudo gedit ~/.bashrc

添加以下内容

export HADOOP_HOME=/home/zyg/disk/study/hadoop-2.5.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 

使配置生效：

zyg@zyg-Rev-1-0:~$ source ~/.bashrc

4.配置SSH，生成密钥

zyg@zyg-Rev-1-0:~$ ssh-keygen -t rsa

将公钥写入authorized_keys文件中

zyg@zyg-Rev-1-0:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

输入以下命令，根据提示输入yes即可登录

zyg@zyg-Rev-1-0:~$ ssh localhost

5.修改Hadoop配置文件，进入hadoop-2.5.0/etc/hadoop目录

1）设置环境变量，hadoop-env.sh

export JAVA_HOME=/home/zyg/disk/study/jdk1.7.0

2）修改core-site.xml，添加以下内容

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/zyg/disk/study/hadoop-2.5.0/hadooptmp</value> 
</property>

3）修改hdfs-site.xml，添加以下内容

<property>
	<name>dfs.repliacation</name>
	<value>1</value>
</property>

4）将map-site.xml.template重命名为map-site.xml，添加以下内容

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

5）修改yarn-site.xml，添加以下内容

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

6.启动Hadoop

zyg@zyg-Rev-1-0:~/disk/study/hadoop-2.5.0$ sbin/start-all.sh

8.验证是否启动成功

zyg@zyg-Rev-1-0:~/disk/study/hadoop-2.5.0$ jps

如出现以上信息，则表示伪分布式环境安装成功