Mapreduce程序中的FileInputFormat.addInputPaths和FileInputFormat.addInputPath方法

好几天没动笔了,今天写个简单的~~

写MR过程中经常会遇到多个源路径的输入,我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job, conf.get("input_dir"))方法来实现,

在提交脚本中将多个源的路径用“,”分隔,input_dir=$INPUT_FILE_PATH1,$INPUT_FILE_PATH2  

这样在执行MR的时候,输入会将多个源路径全部多为map输入进行执行。

除了多输入路径外,如果源路径只有一个的话,FileInputFormat还有一个方法是addInputPath,通过FileInputFormat.addInputPath(job, new Path(conf.get("input_dir")));可以将一个源路径作为map的输入执行。

当然FileInputFormat.addInputPaths是兼容FileInputFormat.addInputPath的,也就是说如果我调用的是多输入路径函数,但是输入数据源只有一个路径,也是能够正常执行的,所以通用起见,FileInputFormat.addInputPaths是个更好的选择。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值