Hadoop实践（三）---MapReduce编程 小技巧

影响大多数MapReduce程序效率的主要瓶颈是磁盘和网络I/O。

使用Mapper去执行部分计算，可以有效减少Mapper和Reducer之间的I/O开销。相较于将全部输入传输给Reducer，并执行计算任务，这样的开销是非常小的，在MapReduce开发中，需要考虑这些问题，以降低开销，提高效率。

1、在MapReduce中输出时，如何不输出Key值？

NullWritable.get（）方法

当Mapper和Reducer的输出类型相同的时候，只需要设置这2个就可以了：

 job.setOutputKeyClass(NullWritable.class);
 job.setOutputValueClass(Text.class);

当Mapper和Reducer输出类型不同时，需要分别设置：

 job.setMapOutputKeyClass(Text.class);
 job.setMapOutputValueClass(IntWritable.class);
 job.setOutputKeyClass(NullWritable.class);
 job.setOutputValueClass(Text.class);

2、GenericOptionsParser的用法

使用GenericOptionsParser将命令参数传递给作业：

• 使用-libjars <comma separated jar paths（逗号分隔的jar路径）>传递第三方库
• 使用-D <name> = <value>传递自定义的命令参数

new GenericOptionsParser(getConf(),args).getRemainingArgs();

在本例中，会返回包含输入输出路径的数组

3、实现Tool接口

Tool接口支持处理通用命令行选项

Tool是任何Map-Reduce工具/应用程序的标准。 工具/应用程序应该将标准命令行选项的处理委托给ToolRunner.run（Tool，String []），并且仅处理其自定义参数。

以下是典型工具的实现方式：

   public class MyApp extends Configured implements Tool {

       public int run(String[] args) throws Exception {
         // Configuration processed by ToolRunner
         Configuration conf = getConf();

         // Create a JobConf using the processed conf
         JobConf job = new JobConf(conf, MyApp.class);

         // Process custom command-line options
         Path in = new Path(args[1]);
         Path out = new Path(args[2]);

         // Specify various job-specific parameters     
         job.setJobName("my-app");
         job.setInputPath(in);
         job.setOutputPath(out);
         job.setMapperClass(MyMapper.class);
         job.setReducerClass(MyReducer.class);

         // Submit the job, then poll for progress until the job is complete
         JobClient.runJob(job);
         return 0;
       }

       public static void main(String[] args) throws Exception {
         // Let ToolRunner handle generic command-line options 
         int res = ToolRunner.run(new Configuration(), new MyApp(), args);

         System.exit(res);
       }
     }