思想
mapreduce可以分为map和reduce两个过程,我们知道最终结果是reduce输出的k,v中的k一定不是重复的,是排序合并之后的。我们就利用这一点在mapper阶段,不需要做任何事情,只要将输入value(一行内容)作为key输出到reduce即可。由于这里不做wordcount,所以可以写:context.write(value,NullWritable.get())。NullWritable是Writable的一个特殊类,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。
特别说明:其实既然不用关心map的输出value,所以是什么类型都无所谓,下文用的是Text类型,只不过是空文本,不要带内容就行。
同样,reduce阶段不用关心value,只需要关心key即可,输出的value仍然是NullWritable。
代码
MyMapper代码:
package algorithm;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class MyMapper extends
Mapper<LongWritable, Text, Text, Text> {
//输入文件是数字 不过可能也有字符等 所以用Text,不用LongWritable
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
context.write(value, new Text());//后面不能是null,否则,空指针
}
}
MyReducer代码:
package algorithm;
import java.io.IOException;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class MyReducer extends Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterable<Text> value, Context context)
throws IOException, InterruptedException {
// process values
context.write(key, null); //可以出处null
}
}
测试类:
package algorithm;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Test{
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
Configuration conf = new Configuration();
Job job = new Job(conf,"DuplicateRemove");
job.setJarByClass(QuchongMr.class);
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
job.setOutputKeyClass(Text.class);
//输出是null,不过不能随意写 否则包类型不匹配
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(1);
//hdfs上写错了文件名 DupblicateRemove 多了个b
//hdfs不支持修改操作
FileInputFormat.addInputPath(job, new Path("hdfs://192.168.58.180:8020/input/inputdata.txt"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.58.180:8020/output"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}