文章目录
一、实战概述
-
在信息爆炸的时代,数据处理与分析的重要性日益凸显。
MapReduce
作为一种强大的分布式计算模型,以其高效并行处理能力解决了大规模数据集的处理难题。本次实践教程,我们将通过一个具体的任务——学生信息排序,深入浅出地引导大家掌握MapReduce
的基本原理和应用。从数据准备到实现步骤,再到拓展练习,我们将一起领略MapReduce
的强大魅力,揭示其在大数据处理中的关键作用。 -
本教程将通过
Hadoop MapReduce
实现学生信息排序任务。首先,启动Hadoop
服务,创建sortstudent
目录和包含学生信息的student.txt
文件,然后将其上传到HDFS的/sortstudent/input
目录。接着,创建Maven
项目SortStudent
,添加hadoop
和junit
依赖,配置日志属性文件。在net.hpy.mr
包下创建Student
类实现序列化比较接口,设置性别升序、年龄降序的比较规则。随后,创建StudentMapper
和StudentReducer
类进行数据处理和排序。在StudentDriver
类中设置作业配置并运行。拓展练习中,我们将修改Student
类的比较规则以实现性别升序、年龄降序排序,最后重新运行StudentDriver
查看结果。
二、提出任务
- 学生表,包含五个字段(姓名、性别、年龄、手机、专业),有8条记录
姓名 | 性别 | 年龄 | 手机 | 专业 |
---|---|---|---|---|
李文丽 | 女 | 19 | 15892943440 | 大数据应用 |
张三丰 | 男 | 20 | 15890987976 | 人工智能应用 |
郑晓燕 | 女 | 18 | 12982827272 | 软件技术 |
唐宇航 | 男 | 19 | 19377383663 | 计算机应用 |
陈燕文 | 女 | 22 | 13672727222 | 软件技术 |
童安格 | 男 | 21 | 12935527222 | 大数据应用 |
肖雨涵 | 男 | 19 | 13926266333 | 软件技术 |
冯晓华 | 女 | 18 | 13876262263 | 大数据应用 |
三、完成任务
(一)准备数据
1、在虚拟机上创建文本文件
- 创建
sortstudent
目录,在里面创建student.txt
文件
2、上传文件到HDFS指定目录
-
创建
/sortstudent/input
目录,执行命令:hdfs dfs -mkdir -p /sortstudent/input
-
将文本文件
student.txt
,上传到HDFS的/sortstudent/input
目录
(二)实现步骤
1、创建Maven项目
- Maven项目 -
SortStudent
- 单击【Finish】按钮
2、添加相关依赖
- 在
pom.xml
文件里添加hadoop
和junit
依赖
3、创建日志属性文件
- 在
resources
目录里创建log4j.properties
文件
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/sortstudent.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
4、创建学生实体类
- 在
net.hpy.mr
包里创建Student
类
- 为了让学生按照年龄排序,需要让学生实体类实现一个序列化可比较接口 -
WritableComparable
,这个接口有三个抽象方法要我们去实现。
package net.hpy.mr;
import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
public class Student implements WritableComparable<Student> {
private String name;
private String gender;
private int age;
private String phone;
private String major;
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getGender() {
return gender;
}
public void setGender(String gender) {
this.gender = gender;
}
public int getAge() {
return age;
}
public void setAge(int age) {
this.age = age;
}
public String getPhone() {
return phone;
}
public void setPhone(String phone) {
this.phone = phone;
}
public String getMajor() {
return major;
}
public void setMajor(String major) {
this.major = major;
}
@Override
public String toString() {
return "Student{" +
"name='" + name + '\'' +
", gender='" + gender + '\'' +
", age=" + age +
", phone='" + phone + '\'' +
", major='" + major + '\'' +
'}';
}
public int compareTo(Student o) {
return o.getAge() - this.getAge();//降序
}
public void write(DataOutput out) throws IOException {
out.writeUTF(name);
out.writeUTF(gender);
out.writeInt(age);
out.writeUTF(phone);
out.writeUTF(major);
}
public void readFields(DataInput in) throws IOException {
name=in.readUTF();
gender=in.readUTF();
age=in.readInt();
phone=in.readUTF();
major=in.readUTF();
}
}
5、创建学生映射器类
- 在
net.hpy.mr
里创建StudentMapper
类
package net.hpy.mr;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
public class StudentMapper extends Mapper<LongWritable, Text,Student, NullWritable> {
@Override
protected void map(LongWritable Key,Text value,Context context)
throws IOException,InterruptedException {
//获取行数据
String line = value.toString();
//按空格拆分得到字段数组
String[] fields = line.split(" ");
//获取学生信息
String name=fields[0];
String gender=fields[1];
int age = Integer.parseInt(fields[2]);
String phone = fields[3];
String major = fields[4];
//创建学生对象
Student student = new Student();
student.setName(name);
student.setGender(gender);
student.setAge(age);
student.setPhone(phone);
student.setMajor(major);
//写入建键值对<student,null>
context.write(student,NullWritable.get());
}
}
6、创建学生归并器类
- 在
net.py.mr
包里创建StudentReducer
类
package net.hpy.mr;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
public class StudentReducer extends Reducer<Student, NullWritable, Text, NullWritable> {
@Override
protected void reduce(Student key, Iterable<NullWritable> values, Context context)
throws IOException, InterruptedException {
// 获取学生对象
Student student = key;
// 拼接学生信息
String studentInfo = student.getName() + "\t"
+ student.getGender() + "\t"
+ student.getAge() + "\t"
+ student.getPhone() + "\t"
+ student.getMajor();
// 将<studentInfo,null>写入结果文件
context.write(new Text(studentInfo), NullWritable.get());
}
}
7、创建学生驱动器类
- 在
net.py.mr
包里创建StudentDriver
类
package net.hpy.mr;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.net.URI;
public class StudentDriver {
public static void main(String[] args) throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 获取作业实例
Job job = Job.getInstance(conf);
// 设置作业启动类
job.setJarByClass(StudentDriver.class);
// 设置Mapper类
job.setMapperClass(StudentMapper.class);
// 设置map任务输出键类型
job.setMapOutputKeyClass(Student.class);
// 设置map任务输出值类型
job.setMapOutputValueClass(NullWritable.class);
// 设置Reducer类
job.setReducerClass(StudentReducer.class);
// 设置reduce任务输出键类型
job.setOutputKeyClass(Student.class);
// 设置reduce任务输出值类型
job.setOutputValueClass(NullWritable.class);
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建输入目录
Path inputPath = new Path(uri + "/sortstudent/input");
// 创建输出目录
Path outputPath = new Path(uri + "/sortstudent/output");
// 获取文件系统
FileSystem fs = FileSystem.get(new URI(uri), conf);
// 删除输出目录(第二个参数设置是否递归)
fs.delete(outputPath, true);
// 给作业添加输入目录(允许多个)
FileInputFormat.addInputPath(job, inputPath);
// 给作业设置输出目录(只能一个)
FileOutputFormat.setOutputPath(job, outputPath);
// 等待作业完成
job.waitForCompletion(true);
// 输出统计结果
System.out.println("======统计结果======");
FileStatus[] fileStatuses = fs.listStatus(outputPath);
for (int i = 1; i < fileStatuses.length; i++) {
// 输出结果文件路径
System.out.println(fileStatuses[i].getPath());
// 获取文件系统数据字节输入流
FSDataInputStream in = fs.open(fileStatuses[i].getPath());
// 将结果文件显示在控制台
IOUtils.copyBytes(in, System.out, 4096, false);
}
}
}
- 确实学生信息按照年龄降序排列了,但是做了一件我们不需要的
去重
,少了3条记录 - 需要修改学生归并器类,遍历值迭代器,这样就不会去重了
8、启动学生驱动器类,查看结果
- 运行
StudentDriver
类