Hadoop作业构建中的主要方法

在主函数里边有几个方法的说明：

Configuration conf = new Configuration(); // 配置设定
Job job = Job.getInstance(conf, “word count”); // 得到作业
job.setJarByClass(WordCount.class); // 主类名

job.setOutputKeyClass(); // Map和Reduce的输出类型
job.setOutputValueClass();

// job.setMapOutputKeyClass();
// job.setMapOutputValueClass();
// 上边的两个是指定Map或者Reduce的输出类型
说明:
如果Map和Reduce的输出类型相同那么，直接用第一对就可以设定
两个函数的输出类型；
如果不相同那么还需要添加新的一对，就是下边的这对，代表的是Map的输出类型，
第一对就默认代表了Reduce的输出类型；
注意：没有针对Reduce设定输出类型的函数

job.setMapperClass(); // 设定Map类和Reduce类
job.setReducerClass();

job.setInputFormat(); // 设定数据分片的输入和输出格式
job.setOutputFormat();

如果主函数中不添加这对方法，那么Map和Reduce默认的输入和输出类型是：TextInputFormat:
Map:
Key:每条数据在数据分片中的偏移量，LongWritable类型
Value:是每行数据的内容，Text类型
Reduce：
可以是任意的类型，但是最终都会调用里边的toString()方法
转化成字符串后输出

FileInputFormat.setInputPaths(); // Map类在HDFS上的读取的文件位置
FileOutputFormat.setOutputPath(); // Reduce处理完在HDFS上的输出文件位置

---

第二种：
当文件中涉及到多个输入文件的时候，一般是join连接
需要指定多个Mapper类:
MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class, MyMapper1.class);
MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class, MyMapper2.class);
// MultipleInputs类提供了设定多个Map的方法，设定的同时，还需要指定每个Mapper要读取的
文件路径注意:两个路径不能相同，（如果两个类要处理是同一份文件，也需要复制一份）
job.setReducerClass(MyReducer.class);

job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

FileOutputFormat.setOutputPath(job, new Path(args[2]));