FileInputFormat.setInputPaths的执行原理

最新推荐文章于 2024-07-29 09:06:34 发布

曲健磊的个人博客

最新推荐文章于 2024-07-29 09:06:34 发布

阅读量2.9k

点赞数 2

分类专栏：【hadoop】文章标签： mapreduce FileInputFormat

本文链接：https://blog.csdn.net/a909301740/article/details/95453040

版权

本文探讨了MapReduce中FileInputFormat.setInputPaths方法的执行原理，指出该方法实质是在Configuration中设置key-value对。通过示例展示了在MapReduce驱动程序中可以直接在Configuration中设置相应参数，达到相同效果，且FileOutputFormat亦遵循此逻辑。

摘要由CSDN通过智能技术生成

今天在看 MapReduce 源码的时候看了一下 FileInputFormat 的 setInputPaths 方法，内容如下：

  /**
   * Set the array of {@link Path}s as the list of inputs
   * for the map-reduce job.
   * 
   * @param job The job to modify 
   * @param inputPaths the {@link Path}s of the input directories/files 
   * for the map-reduce job.
   */ 
  public static void setInputPaths(Job job, 
                                   Path... inputPaths) throws IOException {
   
    Configuration conf = job.getConfiguration();
    Path path = inputPaths[0].getFileSystem(conf).makeQualified(inputPaths[0]);
    StringBuffer str = new StringBuffer(StringUtils.escapeString(path.toString()));
    for(int i = 1; i <