Hadoop伪分布式环境搭建

本次主要是对Hadoop Pseudo-Distributed环境搭建做介绍，以下操作都是在root用户下进行。

一、软件环境配置

1、 VM：VMware-workstationl-v7.1.4

2、 OS：ubuntu-11.04

3、 JDK：jdk1.6.0_27

4、 Hadoop：hadoop-0.20.2

5、 ssh

二、安装JDK

1、下载JDK：jdk-6u27-linux-i586.bin，并把它放到安装JDK的目录。

2、解压安装命令如下：

root@ubuntu:/usr/java# ./jdk-6u27-linux-i586.bin

3、配置环境变量

用如下命令打开/etc/profile文件：

root@ubuntu:/# gvim/etc/profile

在文件最后添加内容如下：

export JAVA_HOME=/usr/java/jdk1.6.0_27

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH

保存并退出文件，然后运行source命令使文件生效：

root@ubuntu:~# source /etc/profile

4、测试JDK

java version "1.6.0_27"

Java(TM) SE Runtime Environment (build 1.6.0_27-b07)

Java HotSpot(TM) Client VM (build 20.2-b06, mixed mode, sharing)

------------------------------------------------------------------------------------------

OK！成功！

三、安装配置ssh

1、安装ssh

root@ubuntu:~# apt-get install ssh

2、免密码配置ssh

root@ubuntu:~# ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

root@ubuntu:~# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

注：如果authorized_keys 不存在，手动建立即可。

3、验证没有密码是否能ssh到localhost

 root@ubuntu:~# ssh localhost

Welcome to Ubuntu 11.04 (GNU/Linux 2.6.38-8-generic i686)

*Documentation:  https://help.ubuntu.com/

225 packages can be updated.

75 updates are security updates.

Last login: Tue Sep 27 03:00:30 2011 from ip6-localhost

------------------------------------------------------------------------------

OK!成功！

可以用who命令查看状态：

root@ubuntu:~# who

4、检查是否安装了ssh

root@ubuntu:~# dpkg --list|grep ssh

5、检查ssh是否启动

root@ubuntu:~# ps -ef|grep ssh

四、Hadoop安装配置

1、下载以前的稳定版：hadoop-0.20.2.tar.gz复制到准备安装的目录。

2、切换到安装目录，并解压。

3、配置

hadoop-env.sh:

取消JAVA_HOME注释并做如下修改：

export JAVA_HOME=/usr/java/jdk1.6.0_27

 其它的可以根据需要做修改。

con/core-site.xml:

<configuration>

<property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

</property>

</configuration>

conf/mapred-site.xml:

<configuration>

<property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

</property>

</configuration>

conf/hdfs-site.xml:

<configuration>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

</configuration>

4、运行

格式化HDFS：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop namenode –format

启动hadoop守护进程：

 root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/start-all.sh

列出所有守护进程：

 root@ubuntu:/usr/hadoop/hadoop-0.20.2# jps

通过浏览器查看hadoop运行状态：

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

复制本地文件到HDFS的input目录：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop fs –put conf input

运行hadoop提供的例子：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'

查看DFS文件：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop fs -ls output

复制DFS文件到本地，并在本地查看：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop fs -get output output

root@ubuntu:/usr/hadoop/hadoop-0.20.2# cat output/*

或者直接查看DFS文件:

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/hadoop fs -cat output/*

关闭hadoop守护进程：

root@ubuntu:/usr/hadoop/hadoop-0.20.2# bin/stop-all.sh

五、其它

    Hadoop下载：

    http://hadoop.apache.org/hdfs/releases.html

    Hadoop详细开发指南请参考：

    http://hadoop.apache.org/common/docs/stable/