Hadoop 多输入和多输出研究(如何在Job History中获取相关信息)

Hadoop FileInputFormat多输入

使用FileInputFormat来指定多个输入.当我们使用

FileInputFormat.setInputPaths(JobConf conf, Path... inputPaths)
FileInputFormat.addInputPaths(JobConf conf, String commaSeparatedPaths)

来设定有多个输入路径的时候，首先第一点，这多个输入路径都是使用的同一个Mapper来运行。然后配置参数中，key是”mapreduce.input.fileinputformat.inputdir”,不同的输入路径通过”,”来进行分割的多个路径。所以，这种情况下的多输入可以在Job History的已经完成的Job的配置文件里面，来查找”mapreduce.input.fileinputformat.inputdir”的标签对应的值，然后通过”,”来进行分割就可以找到输入。

通过程序代码的测试,下面是我通过FileInputFormat来设置多个输入路径在配置文件中的值。
程序中的部分代码:

 FileInputFormat.setInputPaths(job,new Path("/tmp/data1.txt"),new   Path("/tmp/data2.txt"),