Ubuntu下eclipse配置Hadoop教程(上)

首先安装单机hadoop 1.0.3

1,安装ssh 
   
sudo apt-get install ssh

2,安装rsync 
   
sudo apt-get install rsync

3,配置ssh免密码登录

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 

4,配置JDK环境和下载hadoop 1.0.3 
  

验证是否成功 

   ssh localhost

5,修改hadoop配置文件，指定JDk安装路径

   vi conf/hadoop-env.sh

   export JAVA_HOME=/home/app/jdk1.6.0_30

6,修改Hadoop核心配置文件core-site.xml，配置HDFS的地址和端口号

  vi conf/core-site.xml

   
<configuration>
        <property>
             <name>fs.default.name</name>
               <value>hdfs://localhost:9000</value>   
      </property>      
   </configuration>

7,修改Hadoop中HDFS的配置，修改replication

   vi conf/hdfs-site.xml

 <configuration>
          <property>
             <name>dfs.replication</name>         
         <value>1</value>
       </property>
   </configuration>

8,修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口 

   vi conf/mapred-site.xml

   
<configuration>
          <property>
             <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
          </property>
 </configuration>

9,格式化Hadoop的文件系统HDFS

   bin/hadoop namenode -format

10,启动hadoop

   bin/start-all.sh

最后，验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：

http://localhost:50030    (MapReduce的Web页面)

http://localhost:50070    (HDfS的web页面)

如果都能查看，说明安装成功。