学生信息排序-CSDN博客

本文链接：https://blog.csdn.net/muzhi_820520/article/details/135572209

一、实战概述

在信息爆炸的时代，数据处理与分析的重要性日益凸显。MapReduce作为一种强大的分布式计算模型，以其高效并行处理能力解决了大规模数据集的处理难题。本次实践教程，我们将通过一个具体的任务——学生信息排序，深入浅出地引导大家掌握MapReduce的基本原理和应用。从数据准备到实现步骤，再到拓展练习，我们将一起领略MapReduce的强大魅力，揭示其在大数据处理中的关键作用。
我们将通过Hadoop MapReduce实现学生信息排序任务。首先，启动Hadoop服务，创建sortstudent目录和包含学生信息的student.txt文件，然后将其上传到HDFS的/sortstudent/input目录。接着，创建Maven项目SortStudent，添加hadoop和junit依赖，配置日志属性文件。在net.hw.mr包下创建Student类实现序列化比较接口，设置性别升序、年龄降序的比较规则。随后，创建StudentMapper和StudentReducer类进行数据处理和排序。在StudentDriver类中设置作业配置并运行。拓展练习中，我们将修改Student类的比较规则以实现性别升序、年龄降序排序，最后重新运行StudentDriver查看结果。

在这里插入图片描述

在这里插入图片描述

Maven项目 - MRSortStudent，设置了JDK版本 - 1.8，组标识 - net.djh.mr(这里忘记截图了，代用老师的截图)
单击【Create】按钮，得到初始化项目

在这里插入图片描述

在这里插入图片描述

创建net.djh.mr包，在包里创建Student类,实现WritableComparable接口
说明：该Java类Student表示学生对象，实现WritableComparable接口以供Hadoop处理。它包含姓名、性别、年龄、电话和专业属性的getter和setter方法。compareTo方法用于按年龄降序比较学生对象。write和readFields方法实现了序列化与反序列化，使得Student对象可在Hadoop数据流中读写传输。

在net.djh.mr里创建StudentMapper类
说明：该Java类StudentMapper是Hadoop MapReduce作业的映射器，用于处理学生信息文本数据。它从输入行中解析出学生各项属性，并封装成Student对象student，然后将<student,null>键值对写入中间结果，以供后续Reducer阶段进一步处理。

在net.djh.mr包里创建StudentReducer类
说明：该Java类StudentReducer是Hadoop MapReduce的归并器，继承自Reducer。在reduce方法中，获取学生对象并拼接其各项属性信息为字符串studentInfo，然后将<studentInfo,null>键值对写入输出文件，实现对学生数据的收集与整合。