实验环境:hadoop-3.1.0 java-1.8.172 centOS 7 IDEA
问题引入:
中文表述:
假设有N个班级在学习一门课程,第i个班级有M[i]个学生。课程成绩按照班级,分别存放在单独的文本文件中,如File1.txt是1班的成绩,File2.txt是2班的成绩,以此类推。
(1)在本地文件系统中,首先使用随机数生成N个班级的成绩文件,包括学生的学号、姓名、成绩。注意:成绩要在[0,100]范围内。
(2)使用HDFS 的Java API将上述文件上传至HDFS。
(3)使用MapReduce程序,计算每个班级的平均分、最高分、最低分,以及所有学生的平均分、最高分和最低分。输出时,各个班级的平均分输出班级编号和平均分;所有学生的平均分只输出平均分。最高分、最低分需要输出班级编号、学生和成绩,如果有多个最高分和最低分,则需要输出所有的最高分和最低分。
(4)编写MapReduce程序,按照优秀(>=90)、良好([80,89])、中等([70,79])、及格([60,69])和不及格(<60)给出各个班级和所有学生的成绩分布情况(即每个分数段的人数)。
解题:
(1)简短的py代码如下
import random
import string
if __name__ == '__main__':
for classNum in range(1, 11):
filename = 'class_' + str(classNum) + '.txt'
with open(filename, 'a') as f:
studentNum = random.sample([33, 34, 35, 36, 37], 1)[0]
for i in range(1, studentNum):
stuId = '20150106%02d%02d' % (classNum, i)
stuName = ''.join(random.sample(string.ascii_letters, 4))
stuScore = random.randint(0, 100)
result = "%-16s%-8s%-3d\n" % (stuId, stuName, stuScore)
f.write(result)
f.close()
print(stuId)
生成样本数据如下
在本地随机的数据如上,10个班级文件,单文件包含30多条学生信息,每条信息有学号,姓名和成绩,成绩在0~100内,学号的倒数三四位为班号。
(2)上传文件至HDFS
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Uploader {
public static void main(String[] args) throws URISyntaxException, IOException {
Configuration conf = new Configuration();
URI uri = new URI("hdfs://localhost:9000");
FileSystem fs = FileSystem.get(uri, conf);
Path resP = new Path("/home/yyw/IdeaProjects/EXaverage/Input"); //本地文件路径,Input里有10个txt文件
Path destP = new Path("/user/yyw"); //远端HDFS路径
if (!fs.exists(destP)) {
fs.mkdirs(destP);
}
fs.copyFromLocalFile(resP, destP);
fs.close();
}
}
(3)和(4)一起
主体思路:(题设:n文件,单文件m条信息)
1.map输出key的选择。不管map输入key值如何,偏移量也好行号也罢,都是逐行读取数据,随着n的增大,n*m条数据的量可能是巨大的。考虑到要尽量减少map输出数据条数,因为真分布式下map输出条数太大会占用过多带宽减低性能,所以这里以班级号为map输出key值。无论是以学号,姓名或成绩,又或三者的组合构成来key,这个key值都几乎是唯一的,进而造成了n*m条输入与n*m条输出现象。以班级号为key,其他信息拼接的字符串为value,经map端和reduce端的shuffle和sort过程,相同key的键值对组合在一起,就会构成这样的形式<班级号,(学生A信息, 学生B信息,,,)>,这样同班的学生信息聚合成list,map的输出就减少到n条,同时对应着n个reduce,每个reduce处理一个班的数据,使问题简化。
2.班级和整体。经上述处理,因为每个班的数据对应一个reduce,reduce对每个班的数据处理异常简单。对于整体数据的处理可以定义成类的静态变量的形式,static型变量随类初始化而初始化,随类消亡而消亡,整个过程reduce虽有多个,也不过是重复调用类的方法,而类的初始化只有一次,如此,用flag记录reduce调用次数,在对所有班级数据处理完成后再输出整体的数据,问题得解。
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.l