使用eclipse连接ubuntu下伪分布的hadoop

一:准备工具

hadoop-eclipse-plugin-2.6.4.jar---------------eclipse下的hadoop插件,我用的版本是hadoop2.6.4

eclipse 

二:开始配置

    

1:将下载好的 hadoop-eclipse-plugin-2.6.4.jar放到eclipse下的plugins中

2:打开eclipse,点击windows->preference,找到hadoop map/reduced,点击browse,选择你的hadoop目录(到官网下载一个解压就可以,不用配置文件)

         点击ok即可     

                       

3:点击windows->show view->other,选择map/reduce location

                                      

4:上述步骤完成后,eclipse会出现

                      

5:鼠标右键点击上图的空白位置,选择new hadoop location

(1)Location name 可以随便写,User name写上自己的hadoop主机名字吧..

(2)Map/Reduce Master:

      Host填写你在mapred-site.xml中修改的主机ip地址;

      Port填写端口号   (由于我没有修改mapred-site.xml中文件,因此我使用其默认的端口号)

(3)DFS Master:

      Host自己填写自己在core-site.xml中修改的主机ip地址

       port填写修改的端口号

(4)我的core-site.xml文件内容是这样的:

   
   

    
    

     
     <configuration>
    
    
    
    

     
             <property>
    
    
    
    

     
                  <name>hadoop.tmp.dir</name>
    
    
    
    

     
                  <value>file:/usr/local/hadoop-2.6.4/tmp</value>
    
    
    
    

     
                  <description>Abase for other temporary directories.</description>
    
    
    
    

     
             </property>
    
    
    
    

     
             <property>
    
    
    
    

     
                  <name>fs.defaultFS</name>
    
    
    
    

     
                  <value>hdfs://192.168.123.130:9000</value>
    
    
    
    

     
             </property>
    
    
    
    

     
     </configuration>
    
    
   
   

                  这里有一点要注意,我之前配置的时候hdfs的地址直接使用了localhost,而没有使用ip地址

                  这个时候会出现failed on connection exceptio n这个错误,切记这里只能填写ip地址,而不可直接用localhost代替

                       

6:上述步骤完成后,重新启动hadoop的各个守护进程   

       此时在windows下的eclipse可以看到(前提是你在hdfs中创建了wc文件夹和input,output)