mapreduce去掉重复行

思想

mapreduce可以分为map和reduce两个过程，我们知道最终结果是reduce输出的k,v中的k一定不是重复的，是排序合并之后的。我们就利用这一点在mapper阶段，不需要做任何事情，只要将输入value（一行内容）作为key输出到reduce即可。由于这里不做wordcount，所以可以写：context.write(value,NullWritable.get())。NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。

特别说明：其实既然不用关心map的输出value，所以是什么类型都无所谓，下文用的是Text类型，只不过是空文本，不要带内容就行。

同样，reduce阶段不用关心value，只需要关心key即可，输出的value仍然是NullWritable。

代码

MyMapper代码：

package algorithm;
 
import java.io.IOException;
 
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
 
public class MyMapper extends
        Mapper<LongWritable, Text, Text, Text> {
    //输入文件是数字 不过可能也有字符等 所以用Text，不用LongWritable
    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        context.write(value, new Text());//后面不能是null，否则，空指针
 
    }
 
}

MyReducer代码：

package algorithm;
 
import java.io.IOException;
 
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
 
public class MyReducer extends Reducer<Text, Text, Text, Text> {
 
    public void reduce(Text key, Iterable<Text> value, Context context)
            throws IOException, InterruptedException {
        // process values
        context.write(key, null); //可以出处null
    }
 
}

测试类：

package algorithm;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
public class Test{
 
    public static void main(String[] args) throws Exception{
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();
        Job job = new Job(conf,"DuplicateRemove");
        job.setJarByClass(QuchongMr.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        //输出是null，不过不能随意写  否则包类型不匹配
        job.setOutputValueClass(Text.class);
         
        job.setNumReduceTasks(1);
        //hdfs上写错了文件名 DupblicateRemove  多了个b
        //hdfs不支持修改操作
        FileInputFormat.addInputPath(job, new Path("hdfs://192.168.58.180:8020/input/inputdata.txt"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.58.180:8020/output"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
 
}