hadoop的使用

使用这个大象已经有一两个月的时间了吧。基本上自己编程实现任务是有思路了,自己写了几个工作任务,但是都是在别人的程序的基础上的。具体加载多少东西,我觉得我还是照本宣科吧,很多东西没有用到就不去深究。最近搞定了多输入文档的使用,多个mapper使用同一个reducer,使用原理其实和单个mapper差不多,但是由于要到一个reducer所以要保证mapper的输出类型是一样的。再者由于MAPPER的输出一般是MAPWRITABLE的,这个时候更要保证其中的数据类型是一致的,否则要出错的啦。


还有,昨天在一个job中,由于把table的使用改成file了,所以我把由原来的table更新输入到了file,看了看应该没什么问题。job也跑完了,可发现没有输出,后来发现是输出outputformat中输出类型设置成了nullformat.class了。也就是说不输出文件,只更新table,我要输出file现在,所以这个一定要指定为输出类型。哎,我总是粗心大意啊……

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值