在主函数里边有几个方法的说明:
Configuration conf = new Configuration(); // 配置设定
Job job = Job.getInstance(conf, “word count”); // 得到作业
job.setJarByClass(WordCount.class); // 主类名
job.setOutputKeyClass(); // Map和Reduce的输出类型
job.setOutputValueClass();
// job.setMapOutputKeyClass();
// job.setMapOutputValueClass();
// 上边的两个是指定Map或者Reduce的输出类型
说明:
如果Map和Reduce的输出类型相同那么,直接用第一对就可以设定
两个函数的输出类型;
如果不相同那么还需要添加新的一对,就是下边的这对,代表的是Map的输出类型,
第一对就默认代表了Reduce的输出类型;
注意:没有针对Reduce设定输出类型的函数
job.setMapperClass(); // 设定Map类和Reduce类
job.setReducerClass();
job.setInputFormat(); // 设定数据分片的输入和输出格式
job.setOutputFormat();
如果主函数中不添加这对方法,那么Map和Reduce默认的输入和输出类型是:TextInputFormat:
Map:
Key:每条数据在数据分片中的偏移量,LongWritable类型
Value:是每行数据的内容,Text类型
Reduce:
可以是任意的类型,但是最终都会调用里边的toString()方法
转化成字符串后输出
FileInputFormat.setInputPaths(); // Map类在HDFS上的读取的文件位置
FileOutputFormat.setOutputPath(); // Reduce处理完在HDFS上的输出文件位置
第二种:
当文件中涉及到多个输入文件的时候,一般是join连接
需要指定多个Mapper类:
MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class, MyMapper1.class);
MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class, MyMapper2.class);
// MultipleInputs类提供了设定多个Map的方法,设定的同时,还需要指定每个Mapper要读取的
文件路径注意:两个路径不能相同,(如果两个类要处理是同一份文件,也需要复制一份)
job.setReducerClass(MyReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileOutputFormat.setOutputPath(job, new Path(args[2]));