在windows下开发mapreduce

    上一节说道编译hadoop-eclipse插件,现在说说在windows下编写mapreduce吧

    1、首先在map/reduce locations 中右键new一个hadoop location,如下图是创建好了的,如果是第一次,不会有myhadoop。

    2、配置

    
    这里面的location name 是随便起的名字,host 是hadoop配置文件core-site.xml中的fs.defaultFS的url的主机ip,右边的port,是fs.defaultFS的url的端口号,user name 是linux系统使用hadoop的用户名

    3、如果成功,则可以展开左边的目录,能够看到hdfs上的文件,如果看不到目录,第一时间看看你的hadoop集群启动了么,别犯这种低级的错误哦
    

    4、试一试能不能删除里面文件,如果不能,可能会涉及到权限的问题,修改集群配置文件hdfs-site.xml

<property>
 <name>dfs.permissions</name>
 <value>false</value>
</property>



    5、新建一个mapreduce工程,会自动把需要的jar包都引进来,然后写个wordcount小程序吧,这里就不写了,右键这个类,选择run as configration 
    

    配置好mainclass 点选项卡Arguments 
    

    填写好运行的参数,第一个为输入目录,第二个为输出目录,配置好后run as hadoop 就可以在左侧目录树下看到ouput文件夹

    6、运行程序如果出错,这里有解决办法,但是由于时间关系,先放在这,后续补充

转载于:https://my.oschina.net/U74F1zkKW/blog/405945

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值