hadoop-eclipse-plugin的正确使用(对应0.20.1版本)

这篇博客详细介绍了如何在Eclipse中配置hadoop-eclipse-plugin,针对0.20.1版本。内容包括Location Name、Map/Reduce和DFS Master的设置,User Name的选择,以及配置Advanced Parameters的重要选项如dfs.replication和hadoop.tmp.dir。博主还提到了可能遇到的问题及解决办法,例如缺少jar包的处理,并提供了编写和运行第一个Hadoop HelloWorld程序——WordCount的步骤。
摘要由CSDN通过智能技术生成


1.下载hadoop-0.20.1-eclipse-plugin.jar包 (地址:http://code.google.com/p/hadoop-eclipse-plugin/)
2.拷贝上面下的包到eclipse的plugins文件夹下
3.重启eclipse,点击主菜单上的window-->preferences,在左边栏中找到Hadoop Map/Reduce,点击后在右边对话框里设置hadoop的安装路径即主目录,
   eg: /usr/local/hadoop

4.选择Map/Reduce视图:eclipse--->window---->open perspective---->other---->map/reduce
  window ->Show View -> 搜索“map/reduce Locations”视图 选上 -> 点击“OK”

5. 增加DFS Locations:点击Map/Reduce Locations—> New Hadoop Loaction,填写对应的host和port

b92e9add-c337-3de0-8f62-e9f0707b0260.png 

Location Name : 此处为参数设置名称,可以任意填写

Map/Reduce Master (此处为Hadoop集群的Map/Reduce地址,应该和mapred-site.xml中的mapred.job.tracker设置相同)


DFS Master  (此处为Hadoop的master服务器地址,应该和core-site.xml中的 fs.default.name 设置相同)

 

一般情况下为 
Map/Reduce Master 
Host: localhost 
Port: 9001 
DFS Master 
Host: localhost 
Port: 9000 
配置完成后,点击Finish。如配置成功,在DFS Locations中将显示出新配置的文件夹。

4445078c-b725-3351-91b1-a3038517aaef.png 
e344abb7-fd70-39a6-99f1-010532fc0750.png
在左边project explorer 列表框中找到“DFS Locations”右键refresh,就会看到
一个目录树,eclipse提供了一个目录树来管理HDFS系统,右键可以创建/删除目录,上传/
查看文件,操作起来很简单,内容与命令 hadoop dfs -ls 结果一致
 
load     加载
unload   卸载
upload   上传
download 下载

6. 新建Map/Reduce任务
File->New->project->Map/Reduce Project->Next
Project name:example ->Next->Finish
-> src右键->New->class Name:example->Finish ->
左侧窗口就显示一个example.java 类文件了

详细解释(必看):(http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html

Location Name:

这个不用在意,就是对这个MapReduce的标示,只要能帮你记忆即可

Map/Reduce Master 部分相关定义:

Host:上一节搭建的集群中JobTracker所在的机器的IP地址

port:JobTracker的端口

两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口

DFS Master部分:

Host:就是上一节集群搭建中Namenode所在机器IP

Port:就是namenode的端口

这两个参数是在 core-site.xml里fs.default.name里面的ip和端口

User Name:

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值