MapReduce计算班级/全体分数的均值与最值

实验环境：hadoop-3.1.0      java-1.8.172     centOS 7    IDEA

问题引入：

中文表述：

假设有N个班级在学习一门课程，第i个班级有M[i]个学生。课程成绩按照班级，分别存放在单独的文本文件中，如File1.txt是1班的成绩，File2.txt是2班的成绩，以此类推。

（1）在本地文件系统中，首先使用随机数生成N个班级的成绩文件，包括学生的学号、姓名、成绩。注意：成绩要在[0,100]范围内。
（2）使用HDFS 的Java API将上述文件上传至HDFS。
（3）使用MapReduce程序，计算每个班级的平均分、最高分、最低分，以及所有学生的平均分、最高分和最低分。输出时，各个班级的平均分输出班级编号和平均分；所有学生的平均分只输出平均分。最高分、最低分需要输出班级编号、学生和成绩，如果有多个最高分和最低分，则需要输出所有的最高分和最低分。

（4）编写MapReduce程序，按照优秀（>=90）、良好（[80,89]）、中等（[70,79]）、及格（[60,69]）和不及格（<60）给出各个班级和所有学生的成绩分布情况（即每个分数段的人数）。

解题：

（1）简短的py代码如下

import random
import string

if __name__ == '__main__':
    for classNum in range(1, 11):
        filename = 'class_' + str(classNum) + '.txt'
        with open(filename, 'a') as f:
            studentNum = random.sample([33, 34, 35, 36, 37], 1)[0]
            for i in range(1, studentNum):
                stuId = '20150106%02d%02d' % (classNum, i)
                stuName = ''.join(random.sample(string.ascii_letters, 4))
                stuScore = random.randint(0, 100)
                result = "%-16s%-8s%-3d\n" % (stuId, stuName, stuScore)
                f.write(result)
            f.close()
            print(stuId)

生成样本数据如下

在本地随机的数据如上，10个班级文件，单文件包含30多条学生信息，每条信息有学号，姓名和成绩，成绩在0~100内，学号的倒数三四位为班号。

(2)上传文件至HDFS

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Uploader {
    public static void main(String[] args) throws URISyntaxException, IOException {
        Configuration conf = new Configuration();
        URI uri = new URI("hdfs://localhost:9000");
        FileSystem fs = FileSystem.get(uri, conf);
        Path resP = new Path("/home/yyw/IdeaProjects/EXaverage/Input");    //本地文件路径，Input里有10个txt文件
        Path destP = new Path("/user/yyw");    //远端HDFS路径
        if (!fs.exists(destP)) {
            fs.mkdirs(destP);
        }
        fs.copyFromLocalFile(resP, destP);
        fs.close();
    }
}

（3）和（4）一起

主体思路：（题设：n文件，单文件m条信息）

1.map输出key的选择。不管map输入key值如何，偏移量也好行号也罢，都是逐行读取数据，随着n的增大，n*m条数据的量可能是巨大的。考虑到要尽量减少map输出数据条数，因为真分布式下map输出条数太大会占用过多带宽减低性能，所以这里以班级号为map输出key值。无论是以学号，姓名或成绩，又或三者的组合构成来key，这个key值都几乎是唯一的，进而造成了n*m条输入与n*m条输出现象。以班级号为key，其他信息拼接的字符串为value，经map端和reduce端的shuffle和sort过程，相同key的键值对组合在一起，就会构成这样的形式<班级号,(学生A信息， 学生B信息，，，)>，这样同班的学生信息聚合成list，map的输出就减少到n条，同时对应着n个reduce，每个reduce处理一个班的数据，使问题简化。

2.班级和整体。经上述处理，因为每个班的数据对应一个reduce，reduce对每个班的数据处理异常简单。对于整体数据的处理可以定义成类的静态变量的形式，static型变量随类初始化而初始化，随类消亡而消亡，整个过程reduce虽有多个，也不过是重复调用类的方法，而类的初始化只有一次，如此，用flag记录reduce调用次数，在对所有班级数据处理完成后再输出整体的数据，问题得解。

AverageMain.java 

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.l