使用MapReduce查找数据库表的重复数据

在一张很大的数据库表中，这张表有6个字段，要求查找出具有指定的三个字段相同的记录，并且这些记录的总和要大于等于3，如果使用SQL语句的话，就很慢，至少我使用了30多分钟，而且还没有写好SQL语句，现在我使用了MapReducer进行编程，大致思路如下：

       1 在Map阶段，对要求的 三个字段合并，使用复合键值对，让map端自带的排序功能排序；

       2 使用combiner合并具有相同的key的记录，输出；

       3 在reduce阶段判断记录数大于等于3的记录输出，并且合并具有相同的key的记录；

之所以要在reduce阶段做判断，因为可能对于同一个文件split的结果使得在map阶段有的相同的key被分配到了不同的map,会造成结果不一致

代码如下：

package alibaba;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apach