🌟欢迎来到 我的博客 —— 探索技术的无限可能!
大数据实战——WordCount案例实践
一.过程分析(截图)
1.确定Hadoop处于启动状态
图1:打开hdfs
在终端输入./sbin/start-dfs.sh启动hdfs。
图2:确定Hadoop处于启动状态
通过输入jps确定Hadoop处于启动状态。
2.在/usr/local/filecotent下新建hellodemo文件,并写入以下内容
图3:新建filecotent文件夹
cd进入/usr/local,通过sudo mkdir filecotent新建filecotent文件夹。
图4:新建hellodemo文件
在终端输入sudo vi hellodemo新建hellodemo文件,并写入以下内容:
hello you
Hello me
图5:进入hellodemo文件
图6:写好内容进hellodemo文件
图7:按 ESC 保存,然后 shift+:wq
3.hdfs中创建data目录
图8:hdfs中创建data目录
在终端进入hadoop文件夹后输入bin/hdfs dfs -mkdir data创建data目录。
4.将/usr/local/filecontent/hellodemo 上传到hdfs的data目录中
图9:上传到hdfs的data目录
5.查看data目录下的内容
图10:查看data目录下的内容
在终端输入命令:bin/hdfs dfs -ls data查看data目录下的内容,可以看到我们已经成功将刚刚写的hellodemo文件上传到hdfs的data目录下。
图11:查看hellodemo文件内容
在终端输入命令:bin/hdfs dfs -text data/hellodemo查看hellodemo文件内容。
6.编写WordCountTest.java并运行文件
6.1进入eclipse
图12:启动eclipse
在终端输入启动命令:./eclipse启动eclipse。
6.2默认workspace(这里必须是Hadoop用户下,如果是个人用户名下,就代表前面错误,你不是在Hadoop下完成的操作,会显示没有java路径)
图13:默认workspace
默认workspace点击launch进入下一步。
6.3新建Mapreduce包和class
图14:新建Mapreduce包
图15:给新建class起名WordCountTest
6.4点击libraries,添加jar包,添加完成后点击finish
图16:添加mapreduce的jar包
图17:添加mapreduce的里面lib的jar包
图18:添加yarn的jar包
图19:添加yarn的里面lib的jar包
6.5编写WordCountTest.java
图20:编写WordCountTest.java
图21:注意要把位置写对
图23:运行成功
7.打成jar包并指定主类,在linux中运行
图24:创建myapp
在终端输入命令:mkdir myapp创建myapp目录。
图25:选择“export”
在Eclipse工作界面左侧的“Package Explorer”面板中,在工程名称“WordCount”上点击鼠标右键,在弹出的菜单中选择“Export”。
图26:选择“Runnable JAR file”
在该界面中,选择“Runnable JAR file”,然后,点击“Next>”按钮。
图27:WordCountTest工程打包生成WordCountTest.jar
在该界面中,“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类,需要在下拉列表中选择刚才配置的类“WordCount”。在“Export destination”中需要设置JAR包要输出保存到哪个目录,这里设置为“/usr/local/hadoop/myapp/WordCountTest.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。然后,点击“Finish”按钮完成打包。
图28:查看是否打包成功
在进入myapp目录下终端输入命令:ls,可以看到,“/usr/local/hadoop/myapp”目录下已经存在一个WordCount.jar文件。
8.查看输出文件内容
图29:使用hadoop jar命令运行程序
在终端输入命令:./bin/hadoop jar ./myapp/WordCount.jar运行打包的程序。
图30:运行结果
词频统计结果已经被写入了HDFS的“/user/hadoop/out1”目录中。
图31:查看输出文件内容
在终端输入命令:bin/hdfs dfs -cat /out1/*查看输出文件内容,词频统计结果入图31所示,自此词频统计程序顺利运行结束。
二.解题思路
1.MapReduce原理
MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。
Map
Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。
Reduec
Reduce负责“合”,即对map阶段的结果进行全局汇总。
图32:WordCountTest说明
2. WordCountTest解题思路
要求:在给定的文本文件中统计输出每一个单词出现的总次数。
根据一个完整的MapReduce程序在分布式运行时需要有三类实例进程:
(1)MrAppMaster:负责整个程序的过程调度及状态协调。
(2)MapTask:负责Map阶段的整个数据处理流程。
(3)ReduceTask:负责Reduce阶段的整个数据处理流程。
所以WordCountTest需要有Map类、Reduce类和main主类。
2.1 编写Mapper
(1)自定义的MyMapper要继承自己的父类
(2)Mapper的输入数据是KV对(K:偏移量,类型为LongWritable,V:对应的内容,类型为Text)
(3)Mapper中的业务逻辑写在map()方法中
(4)Mapper的输出数据是KV对的形式
(5)map() 方法对每一个<K,V>调用一次
将传给我们的文本内容转换成String,根据空格将这一行切分成单词,再将单词输出为<单词,1>。
代码:
private static class MyMapper extends Mapper<LongWritable, Text, Text,LongWritable>{
Text k2 = new Text();
LongWritable v2 = new LongWritable();
@Override
protected void map(LongWritable key, Text value,//三个参数
Mapper<LongWritable, Text, Text, LongWritable>.Context context)
throws IOException, InterruptedException {
//获取一行
String line = value.toString();
//切割
String[] splited = line.split(" ");//因为split方法属于string字符的方法,首先应该转化为string类型在使用
//输出
for (String word : splited) {
//word表示每一行中每个单词
//对K2和V2赋值
k2.set(word);
v2.set(1L);
context.write(k2, v2);
}
}
}
2.2 编写Reducer阶段
(1)用户自定义的MyReducer要继承自己的父类
(2)Reducer的输入数据类型对应Mapper的输出数据类型,也是KV
也就是说map输出的结果然后放到reduce中处理
(3)Reducer的业务逻辑写在reduce()方法中
(4)对每一组相同k的<k,v>组调用一次reduce()方法
汇总各个key的个数,输出该key的总次数。
代码:
private static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
LongWritable v3 = new LongWritable();
@Override //k2表示单词,v2s表示不同单词出现的次数,需要对v2s进行迭代
protected void reduce(Text k2, Iterable<LongWritable> v2s, //三个参数
Reducer<Text, LongWritable, Text, LongWritable>.Context context)
throws IOException, InterruptedException {
//累加求和
long sum =0;
for (LongWritable v2 : v2s) {
//LongWritable本身是hadoop类型,sum是java类型
//首先将LongWritable转化为字符串,利用get方法
sum+=v2.get();
}
//输出
v3.set(sum);
//将k2,v3写出去
context.write(k2, v3);
}
}
2.3 运行分析
图33:运行分析
图34:运行结果