MapReduce多路径输入单文件输出

做MapReduce练习时碰到一个问题:清洗5天的日志

分析

由于五天日志是五个不同的文件,setInputPaths方法,传入两个不同的路径,最后输出到hadoop文件系统会被后一个覆盖，所以应该传入路径的数组就行了

代码如下(两个文件为例)

Path[] paths = {new Path("hdfs://liquanhong1:9000//localhost_access_log.2017-06-23.txt"),new Path("hdfs://liquanhong1:9000/22")};
FileInputFormat.setInputPaths(job,paths);
FileOutputFormat.setOutputPath(job,new Path("hdfs://liquanhong1:9000/test630"));
System.out.println("輸出:"+job.waitForCompletion(true));

这个很简单,以后注意就行了