Hadoop-MultipleInputs/MultipleOutputs2<转>

使用MultipleInputs.addInputPath添加多输入源（超过两个）的时候： 

Java代码  

1. MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);  
2. MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class);  
3. MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);  

我的文件格式是： 
otheArgs[0]指向的文件格式： 

Java代码  

1. key1 keyname1  
2. key2 keyname2  

otheArgs[1]指向的文件格式： 

Java代码  

1. key1 valA1  
2. key2 valA2  

otheArgs[2]指向的文件格式： 

Java代码  

1. key1 valB1  
2. key2 valB2  

在elipse里面运行指定参数的时候,如果otheArgs[2]和otheArgs[1]相同，那么此时MultipleInputs只执行其中一条addInputPath语句，我的测试环境中测试出来的结果就是执行了 

Java代码  

1. MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);  

1.要求otheArgs[2]和otheArgs[1]要不一样。 
2.reduce之后生成文件是： 

Java代码  

1. key1 keyname1 valA1  
2. key2 keyname2 valA2  
3. key1 keyname1 valB1  
4. key2 keyname2 valB2  

而不是： 

Java代码  

1. key1 keyname1 valA1 valB1  
2. key2 keyname2 valA2 valB2  

所以要实现第二种join的结果，我觉得还是要使用MapReduce job流的相关控制了。

原文引自：http://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1844001