Windows下写Hadoop MapReduce程序

之前一直在Ubuntu下操作自己搭建的Hadoop伪分布集群,然后可以直接在Ubuntu环境下开发MR程序,这段时间有幸得到实验室集群的操作权限,但是要用SSH远程管理集群,在Ubuntu下不知道怎么用代理进行SSH代理链接,所以只能在windows环境下用xshell进行通信。

直接上过程吧:

1、在eclipse直接新建java工程,然后对项目名右键-->Build Path-->Config Build Path。看到如下界面


2、Add External Jar.把hadoop包解压缩,将lib文件架中的所有jar包都点选,还有hadoop-core-1.2.1.jar 也加入。


3、最后在Order and Export勾选所有jar,确定后就可以新建java文件了些代码了。


最后导出jar包再put到集群服务器就好了。


这样搞完,以后就不用在Ubuntu写MR程序然后拷到windows在用XFTP传到集群了。因为在搭建了Hadoop环境的Ubuntu下加入Hadoop插件后建MR工程实在太方便了,可惜折腾了很久都没弄明白怎样用SSH代理连接集群...哪位大大知道赐教一下呗。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值