MapReduce程序中的万能输入FileInputFormat.addInputPaths

from http://www.linuxidc.com/Linux/2014-11/109697.htm

写MapReduce过程中经常会遇到多个源路径的输入,我们可以在MapReduce程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现,

args[0]可以是folder1或者folder1,folder2只要以逗号分隔就可以了。

这样在执行MR的时候,输入会将多个源路径全部作为map输入进行执行。

另外一种实现单输入的方法(只支持一个目录作为输入目录):

FileInputFormat.setInputPaths(job, new Path(args[0]));

当然FileInputFormat.addInputPaths是兼容FileInputFormat.setInputPath的,也就是说如果我调用的是多输入路径函数,但是输入数据源只有一个路径,也是能够正常执行的,所以通用起见,FileInputFormat.addInputPaths是个更好的选择。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值