hadoop 0.20.2 java_Hadoop0.20.2版本在Ubuntu下安装和配置

1、安装JDK

(1)下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK

sudo apt-get install sun-java6-jdk

(2)配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容

export JAVA_HOME = (Java安装目录)

export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"

export PATH = "$JAVA_HOME/:PATH"

(3)验证Java是否安装成功

输入 java -version ，输出Java版本信息即为安装成功。

2、安装配置SSH

(1)下载安装SSH：同样在命令行输入下面命令安装SSH

sudo apt-get install ssh

(2)配置无密码登录本机：在命令行输入下面两条命令

ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

(3)验证SSH是否安装成功

输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

3、安装运行Hadoop(以0.20.2版本为例)

(1)下载Hadoop：在http://www.apache.org/dyn/closer.cgi/hadoop/core/页面上下载Hadoop。

(2)安装配置Hadoop

单节点配置：

安装单节点的Hadoop无需配置，在这种方式下，Hadoop被认作为一个单独的Java进程。

伪分布配置：

伪分布的Hadoop是只有一个节点的集群。在这个集群中，计算机既是master也是slave，即使 namenode也是datanode，既是jobtracker也是tasktracker。

配置的过程如下：

a、进入conf文件夹修改下面的文件。

Hadoop-env.sh中加入下面内容：

export JAVA_HOME = (JAVA安装目录)

core-site.xml文件内容修改为下面内容：

fs.default.name

hdfs://localhost:9000

hdfs-site.xml文件内容修改为下面内容：

fs.replication

1

mapred-site.xml文件内容修改为下面内容：

mapred.job.tracker

localhost:9001

b、格式化Hadoop文件系统，在命令行输入命令：

bin/hadoop namenode -format

c、启动Hadoop，在命令行输入命令：

bin/start-all.sh

d、验证Hadoop是否安装成功，在浏览器中输入下面网址，如果正常打开说明安装成功。

http://localhost:50030 (mapreduce的web页面)

　　http://localhost:50070 (hdfs的web页面)