文章目录
一、实战概述
本实战演练旨在利用Hadoop MapReduce框架,在虚拟环境中执行一个简单的词频统计任务。下面是具体的操作步骤:
- 在master节点上创建一个文本文件words.txt,其中包含多个单词行,并将该文件上传至HDFS中的指定目录/wordcount/input。
- 在集成开发环境IntelliJ IDEA中创建一个名为MRWordCount的Maven项目,并引入Apache Hadoop 3.3.4版本的客户端依赖和JUnit测试框架。
- 添加log4j.properties配置文件,用于定义日志输出格式及位置,以方便日志管理。
- 实现两个关键类:WordCountMapper和WordCountReducer。
- WordCountMapper继承自Mapper接口,负责读取输入文本文件中的每一行内容。它将每行按空格分割成单词,并为每个单词生成一个键值对(<单词, 1>),以便后续计数处理。
- WordCountReducer继承自Reducer接口,接收Mapper阶段产生的所有相同单词的键及其对应的次数。它对键值对进行合并统计,并输出格式化的"(单词, 出现次数)"键值对。
- 完成整个MapReduce作业的设置与执行,通过WordCountDriver驱动类实现。
- WordCountDriver初始化Hadoop Configuration对象,并设置Job参数(包括Mapper和Reducer类、键值类型等)。
- 指定HDFS上的输入输出路径。
- 提交作业至集群执行。
- 作业完成后,WordCountDriver从HDFS上读取结果,并在控制台展示出来。
二、提出任务
- 单词文件 -
words.txt
hello hadoop world
hello hive world
hello hbase world
hadoop hive hbase
I love hadoop and hive
三、完成任务
(一)准备数据
1、在虚拟机上创建文本文件
- 在
master
虚拟机上创建test.txt
文件
2、将文本文件上传到HDFS指定目录
- 在HDFS上创建
/hivewc/input
目录
在这里插入图片描述
- 将
test.txt
文件上传到HDFS的/hivewc/input
目录
(二)实现步骤
1、创建Maven项目
- Maven项目 -
MRWordCount
,设置了JDK版本 -1.8
,组标识 -net.youxin
- 单击【Create】按钮,得到初始化项目
2、添加相关依赖
- 在
pom.xml
文件里添加hadoop-client
和junit
依赖
<dependencies>
<!--hadoop客户端-->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.3.4</version>
</dependency>
<!--单元测试框架-->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.13.2</version>
</dependency>
</dependencies>
- 刷新项目获得依赖
3、创建日志属性文件
- 在
resources
目录里创建log4j.properties
文件
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/wordcount.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
4、创建词频统计映射器类
-
创建
net.youxin
包,在包里创建WordCountMapper
类
-
该代码定义了一个Hadoop MapReduce作业中的词频统计Mapper类(WordCountMapper),继承自Mapper<LongWritable, Text, Text, IntWritable>。它接收输入键值对(LongWritable行偏移量,Text行内容),按空格分割每行文本为单词,并为每个单词输出一个键值对到上下文(<Text: 单词, IntWritable: 1>),用于后续Reducer进行计数汇总。
-
映射任务与归并任务示意图
package net.youxin;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.io.Text;
import java.io.IOException;
/**
* 功能:词频统计映射器类
*/
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
// 获取行内容
String line = value.toString();
// 按空格拆分成单词数组
String[] words = line.split(" ");
// 遍历单词数组,生成输出键值对
for (String word : words) {
context.write(new Text(word), new IntWritable(1));
}
}
}
5、创建词频统计归并器类
-
在
net.youxin
包里创建WordCountReducer
-
该WordCountReducer类是Hadoop MapReduce中用于词频统计的归约器,继承自Reducer<Text, IntWritable, Text, NullWritable>。在reduce方法中,它接收一个单词键(Text类型)及其对应的出现次数迭代器(IntWritable类型)。通过遍历所有次数并将它们累加到变量count上,然后将单词与统计结果拼接成"(word,count)"格式的新键,并使用NullWritable作为值输出,从而实现单词及其词频的合并统计。
package net.youxin;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
* 功能:词频统计归并类
*/
public class WordCountReducer extends Reducer<Text, IntWritable, Text, NullWritable> {
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
// 定义键(单词)出现次数
int count = 0;
// 遍历输入值迭代器
for (IntWritable value : values) {
count = count + value.get(); // 针对此案例,可以写为count++;
}
// 生成新的键,格式为(word,count)
String newKey = "(" + key.toString() + "," + count + ")";
// 输出新的键值对
context.write(new Text(newKey), NullWritable.get());
}
}
6、创建词频统计驱动器类
- 在
net.youxin
包里创建WordCountDriver
package net.youxin;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.net.URI;
/**
* 功能:词频统计驱动器类
*/
public class WordCountDriver {
public static void main(String[] args) throws Exception {
// 创建配置对象
Configuration conf = new Configuration();
// 设置客户端使用数据节点主机名属性
conf.set("dfs.client.use.datanode.hostname", "true");
// 获取作业实例
Job job = Job.getInstance(conf);
// 设置作业启动类
job.setJarByClass(WordCountDriver.class);
// 设置Mapper类
job.setMapperClass(WordCountMapper.class);
// 设置map任务输出键类型
job.setMapOutputKeyClass(Text.class);
// 设置map任务输出值类型
job.setMapOutputValueClass(IntWritable.class);
// 设置Reducer类
job.setReducerClass(WordCountReducer.class);
// 设置reduce任务输出键类型
job.setOutputKeyClass(Text.class);
// 设置reduce任务输出值类型
job.setOutputValueClass(NullWritable.class);
// 定义uri字符串
String uri = "hdfs://master:9000";
// 创建输入目录
Path inputPath = new Path(uri + "/wordcount/input");
// 创建输出目录
Path outputPath = new Path(uri + "/wordcount/output");
// 获取文件系统
FileSystem fs = FileSystem.get(new URI(uri), conf);
// 删除输出目录(第二个参数设置是否递归)
fs.delete(outputPath, true);
// 给作业添加输入目录(允许多个)
FileInputFormat.addInputPath(job, inputPath);
// 给作业设置输出目录(只能一个)
FileOutputFormat.setOutputPath(job, outputPath);
// 等待作业完成
job.waitForCompletion(true);
// 输出统计结果
System.out.println("======统计结果======");
FileStatus[] fileStatuses = fs.listStatus(outputPath);
for (int i = 1; i < fileStatuses.length; i++) {
// 输出结果文件路径
System.out.println(fileStatuses[i].getPath());
// 获取文件系统数据字节输入流
FSDataInputStream in = fs.open(fileStatuses[i].getPath());
// 将结果文件显示在控制台
IOUtils.copyBytes(in, System.out, 4096, false);
}
}
}
该WordCountDriver类是【Hadoop MapReduce框架】中用于执行词频统计任务的驱动类。
- 初始化配置:首先创建一个
Configuration
对象,设置客户端使用数据节点主机名属性以便正确解析路径。 - 构建作业实例:通过
Job.getInstance(conf)
获取一个MapReduce作业实例,并将当前类(WordCountDriver)作为作业启动类,这样Hadoop在运行时能识别到主程序入口。 - 配置Mapper和Reducer:分别指定Map阶段使用的类为
WordCountMapper
,Reduce阶段使用的类为WordCountReducer
。同时设定Map阶段输出键值对类型为Text
和IntWritable
,Reduce阶段输出键值对类型也为Text
和NullWritable
。 - 定义文件系统URI:设置HDFS地址为
hdfs://master:9000
,并基于此URI创建输入目录(/wordcount/input)和输出目录(/wordcount/output)。 - 文件系统操作:连接到HDFS文件系统,删除已存在的输出目录以准备新的计算结果,然后向作业添加输入目录和设置输出目录。
- 提交并监控作业:调用
job.waitForCompletion(true)
方法提交作业并等待其完成。当作业完成后,会返回一个布尔值表示作业是否成功执行。 - 读取并显示结果:作业结束后,列出输出目录下的所有文件,遍历这些文件并打开每个文件进行读取。利用
IOUtils.copyBytes
方法将结果文件的内容复制到控制台输出,展示词频统计的结果。
总之,WordCountDriver类负责整个词频统计任务的初始化、配置、执行以及结果展示工作,它将Hadoop MapReduce的各个组件如Mapper、Reducer与实际的输入输出路径关联起来,形成了一个完整的词频统计应用。
7、启动应用,查看结果
- 运行
WordCountDriver类
,查看结果
四、实战总结
这次实战中,我们利用Hadoop MapReduce框架在虚拟环境中对words.txt文件进行了高效的词频统计。以下是我们进行的一些步骤:
-
上传数据至HDFS: 在开始之前,我们首先将待处理的数据文件上传至HDFS,以确保MapReduce任务能够访问数据。这可以通过使用Hadoop命令行或者HDFS客户端工具完成。
-
Maven项目配置: 我们使用IntelliJ IDEA创建了一个Maven项目,并配置了相关依赖项,以确保项目能够顺利运行。这包括Hadoop相关的依赖和其他必要的库。
-
WordCountMapper的优化: 我们的WordCountMapper负责按空格拆分单词并初始化词频为1。这一步骤非常关键,因为它为后续的统计提供了基础。我们确保Mapper的实现是高效且能够充分利用Hadoop并行处理的优势。
-
WordCountReducer的优化: 在WordCountReducer中,我们对相同单词的计数进行了合并。这一步骤的优化涉及到对数据的合理分组和聚合,以最大程度地减少数据传输和处理的开销。
-
WordCountDriver的配置: 我们通过WordCountDriver类配置了作业参数,指定了输入和输出路径。这确保了MapReduce任务在集群上能够正确执行。同时,我们考虑了调优参数,如Mapper和Reducer数量,以优化任务的执行性能。
-
结果展示: 最后,我们从HDFS中读取统计结果,并展示给用户。这可以通过合适的Hadoop命令或者自定义的Java程序来实现。确保结果的展示清晰而有序。
通过这些优化步骤,我们提高了MapReduce任务的效率,确保了对大规模文本数据进行词频统计的高性能处理。这种优化不仅提升了任务的执行速度,也降低了资源消耗,使得整个流程更加高效。