在Ubuntu配置hadoop的单机模式

1、安装1.5以上JDK,我安装的是JDK1.7，安装目录是/opt/java/jdk1.7.0_09

2、安装ssh:

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

3、下载Hadoop
   从http://hadoop.apache.org/core/releases.html 下载最近发布的版本
   我下载的是  hadoop-1.1.0.tar.gz
 
4、在用户的目录下创建hadoop目录，即/home/user1/hadoop
   user1是用户名

5、把hadoop-1.1.0.tar.gz解压到/home/user1/hadoop目录下(最好把压缩包解压到用户的目录下，否则有可能出现没有权限的问题)

    

$sudo tar -zxvf hadoop-1.1.0.tar.gz  -C /home/user1/hadoop

   
6、进入到hadoop的解压目录，配置conf/hadoop-env.sh的JAVA_HOME

 

    

 # export JAVA_HOME=/usr/lib/j2sdk1.5-sun
  改为：
  export JAVA_HOME=/opt/java/jdk1.7.0_09

7、测试安装是否成功
   
  进入到hadoop的解压目录

   

  $ mkdir input
  $ cp conf/*.xml input
  $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

  $ cat output/*
 

  没有异常则创建成功。

8、测试在本用户下：ssh localhsot命令对自己SSH是否需要输入密码，
  如果需要输入密码则要用两个命令配置SSH

 

   

  $ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

9、配置conf/core-site.xml

 

   

 

<configuration>  
   <property>  
    <name>hadoop.tmp.dir</name>  
        <value>/home/huangjinhui/hadoop/hadoop-datastore/hadoop-${user.name}</value>  
   </property>  
   <property>  
    <name>fs.default.name</name>     
    <value>hdfs://192.168.1.107:9000</value>  
   </property>  
</configuration>

 hadoop.tmp.dir配置为想要的路径，${user.name}会自动扩展为运行hadoop的用户名

   
10、配置conf/hdfs-site.xml

 

<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
</configuration>

 

   

dfs.replication为默认block复制数量

11、配置conf/mapred-site.xml

 

 <configuration>  
      <property>  
        <name>mapred.job.tracker</name>  
        <value>192.168.1.107:9001</value>  
      </property>  
    </configuration>

 

12、格式化分布式文件系统

    

$ bin/hadoop namenode -format

13、启动

    

   $ bin/start-all.sh  

  

14、测试启动是否成功
 

  

   NameNode - http://localhost:50070/
   JobTracker - http://localhost:50030/

15、执行命令并查看结果
 
   

   $ bin/hadoop fs -get output output
   $ cat output/*