MapReduce实现数据去重、数据排序、求平均值、多列单行输出

写这篇博客的目的：

1、简单实现数据去重
其实就是将数据的个数设置成空值，输出不显示就OK了

2、简单实现数据排序
因为MapReduce会自动根据key值按字典序排序，所以我们将数据转化为IntWritable类型作为key值即可

3、简单的求成绩平均值（单个文件和多个文件）
分割数据，然后将成绩转化成IntWritable类型，求平均值写入即可

4、将人名对应数据（多列）单行输出
其实就是在输出的时候，将对应数据用字符串连接起来写入即可

5、数据类型的训练，参数类型设置
例如，我们写的是text，那么在函数参数中的设置是怎样的，最后设置成如下类似的
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
否则就会经常出现错误

数据去重实现步骤
实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。
1、将value设置为key，并直接输出。 map输出数据的key为数据，将value设置成空值
2.在MapReduce流程中，map的输出<key，value>经过shuffle过程聚集成<key，value-list>后会交给reduce
3.reduce阶段不管每个key有多少个value，它直接将输入的key复制为输出的key，并输出（输出中的value被设置成空）。

数据排序实现步骤：
1、在map中将读入的数据转化成IntWritable型，然后作为key值输出（value任意）。 
2、reduce拿到<key，value-list>之后，将输入的key作为value输出，并根据value-list中元素的个数决定输出的次数
3、输出的key是一个全局变量，它统计当前key的位次

求平均值实现步骤：
Map
1、首先将value转化成string并进行分割
2、将分割数据的成绩转化为IntWritale类型
3、写入（Text,IntWritable）
Reduce
1、将数据迭代读出
Iterator<IntWritable> iterator = value.iterator();
2、取成绩值求平均值
3、写入（Text，IntWritable）

---数据去重
t1.dat文件如下：
xm@master:~$ hadoop fs -text /input/t1.dat
hello 
hello 
hello 
ni 
hahahaha

---数据去重
t2.dat文件如下：
xm@master:~$ hadoop fs -text /input/t2.dat
hello 
hello 
hello 
ni 
hahahaha
ppp
kkk

---数据去重
输出结果如下：
hahahaha    
hello   
kkk 
ni  
ppp 

---数据去重
实现代码如下：
package mapreduce;


import java.io .IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io .IntWritable;
import org.apache.hadoop.io .Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyTest {

    static String INPUT_PATH = "hdfs://master:9000/input/t1.dat";
    static String OUTPUT_PATH = "hdfs://master:9000/output";

    static class MyMapper extends Mapper<Object, Text, Text, Text>{
        Text t = new Text();
        protected void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {

            context.write(value, t); 

        }
    }
    static class MyReduce extends Reducer<Text, Text, Text, Text> {
        protected void reduce(Text key, Iterable<Text> values, Context context)
                throws java.io .IOException, java.lang.InterruptedException {

            context.write(key, new Text());
        }
    }

    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub

        Path outputpath = new Path(OUTPUT_PATH);
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        FileInputFormat.setInputPaths(job, INPUT_PATH);
        FileOutputFormat.setOutputPath(job, outputpath);

        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReduce.cl