java多个mapreduce_一个简单的MapReduce示例（多个MapReduce任务处理）

一、需求

有一个列表，只有两列：id、pro，记录了id与pro的对应关系，但是在同一个id下，pro有可能是重复的。

现在需要写一个程序，统计一下每个id下有多少个不重复的pro。

为了写一个完整的示例，我使用了多job!

二、文件目录

|- OutCount //单Job的，本次试验没有使用到，这里写出来供参考

|-OutCount2|-OutCountMapper|-OutCountMapper2|-OutCountReduce|- OutCountReduce2

三、样本数据(部分)

2,10000088379

9,10000088379

6,10000088379

1,10000088379

8,10000088379

0,10000088379

1,10000088379

4,10000091621

3,10000091621

2,10000091621

0,10000091621

6,10000091621

2,10000091621

0,10000091621

0,10000091621

9,10000091621

2,10000091621

四、Java代码

1、OutCountMapper.java

importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;importjava.io.IOException;/*** created by wangjunfu on 2017-05-25.

* 4个泛型中，前两个是指定mapper输入数据的类型，KEYIN是输入的key的类型，VALUEIN是输入的value的类型

* map 和 reduce 的数据输入输出都是以 key-value对的形式封装的

* 默认情况下，Map框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的起始偏移量(选用LongWritable)，value是这一行的内容(VALUEIN选用Text)

* 在wordcount中，经过mapper处理数据后，得到的是这样的结果，所以KEYOUT选用Text，VAULEOUT选用IntWritable*/

public class OutCountMapper extends Mapper{//MapReduce框架每读一行数据就调用一次map方法

public void map(LongWritable key, Text value, Context context) throwsIOException, InterruptedException {//数据格式：uid skuid

String oneline = value.toString().replace(',', '_').trim();//去重思路：Map的key具有数据去重的功能，以整个数据作为key发送出去, value为null

context.write(new Text(oneline), new Text(""));/*// 这里需要说明一下，我们现在的样本是标准的，一行一个样本。

// 有的情况下一行多个，那就需要进行分割。<