数据挖掘实验：使用 Hadoop 实现 WordCount 应用

UestcXiye

已于 2023-10-18 22:21:51 修改

阅读量5.2k

点赞数 7

分类专栏：数据挖掘文章标签： hadoop 数据挖掘大数据

于 2022-09-19 10:22:09 首次发布

本文链接：https://blog.csdn.net/ProgramNovice/article/details/126928311

版权

数据挖掘专栏收录该内容

17 篇文章 14 订阅

订阅专栏

一、实验内容

使用 Hadoop 实现WordCount 应用。

WordCount 是一个最简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的总次数，如文本文件中有如下内容：

Hello world

则统计结果应为：

Hello 1

world 1

WordCount 可以使用多种方式实现，本次实验内容选择使用 Hadoop 实现 WordCount 程序，并完成对应实验报告。

二、平台及版本

Windows10
JDK1.8.0_192
Hadoop2.7.3

三、实验原理

3.1 安装 Java1.8，并配置环境变量

路径：C:\Program Files\Java\jdk1.8.0_192

环境变量：JAVA_HOME，值：C:\Program Files\Java\jdk1.8.0_192

在这里插入图片描述

3.2 安装Hadoop2.7.3

从hadoop-2.7.3下载hadoop-2.7.3.tar.gz，解压后放到C盘根目录下：

在这里插入图片描述

原版的Hadoop不支持Windows系统，我们需要修改一些配置方便在Windows上运行，需要从网上搜索下载hadoop对应版本的windows运行包hadooponwindows-master.zip()。解压后，复制解压开的bin文件和etc文件到hadoop-2.7.3文件中，并替换原有的bin和etc文件。
配置Java环境变量：

并在Path系统变量中加上：%JAVA_HOME%\bin;
配置Hadoop环境变量：

并在Path系统变量中加上：%HADOOP_HOME%\bin;
使用编辑器打开C:\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，找到set JAVA_HOME，将等号右边的值改成自己Java jdk的路径（如果路径中有Program Files，则将Program Files改为 PROGRA~1）。
配置好上面所有操作后，win+R 输入cmd 打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示结果，则说明安装成功：

3.3 Hadoop核心配置文件

在hadoop-2.7.3根目录下新建data文件夹和tmp文件夹，再在data文件夹里面新建datanote和namenote文件夹：

在hadoop-2.7.3\etc\hadoop中找到以下几个文件用文本编辑器打开。

打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存：

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/C:/hadoop-2.7.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/C:/hadoop-2.7.3/data/datanode</value>
    </property>
</configuration>

打开hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

从C:\hadoop-2.7.3\bin下拷贝hadoop.dll到 C:\Windows\System32 ，不然在window平台使用MapReduce测试时报错：

3.4 启动Hadoop服务

到C:\hadoop-2.7.3\bin下，按下Win+R进入命令行窗口，输入hdfs namenode -format，执行结果如下图所示：

格式化之后，namenode文件夹里会自动生成一个current文件，说明格式化成功：

到C:\hadoop-2.7.3\sbin下，按下Win+R进入命令行窗口，输入start-all，启动Hadoop集群：

出现下面四个窗口表示启动Hadoop集群成功：

在同命令行窗口下输入start-all（或运行start-all.cmd），启动Hadoop服务，等待他启动完成。

完成之后，输入jps，可以查看运行的所有服务：

访问http://localhost:50070，这是Hadoop的管理页面：

在这里插入图片描述

访问http://localhost:8088，这是yarn的Web界面：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nKm4aKoZ-1663553603228)(C:\Users\81228\AppData\Roaming\Typora\typora-user-images\image-20220917192604677.png)]$

在同命令行窗口下输入stop-all（或运行stop-all.cmd），关闭Hadoop服务。

四、WordCount实现

到C:\hadoop-2.7.3\sbin下，按下Win+R进入命令行窗口，输入start-all（或运行start-all.cmd），启动Hadoop服务。

按Win+R输入cmd打开命令行窗口，键入hadoop fs -mkdir /wordcount命令，在hdfs中创建一个wordcount文件夹。

可以在http://localhost:8088/中查看。
键入hadoop fs -mkdir /wordcount/input命令，在wordcount文件夹下创建input文件夹。
再次键入hdfs dfs -ls /wordcount命令，显示wordcount文件夹里的内容：

键入hadoop fs -put C:/Users/81228/Desktop/input.txt /wordcount/input命令，将桌面的input.txt放入hdfs中的input内。
键入hdfs dfs -ls /wordcount/input命令，显示wordcount/input文件夹里的内容，可以看到input.txt已经在input中：
键入hadoop dfs -cat /wordcount/input/input.txt命令，查看上传文件中的内容：

这是taylor swift的歌——《Love Story》的歌词 😃
键入hadoop jar C:/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/input/input.txt /wordcount/output命令，运行C:/hadoop-2.7.3/share/hadoop/mapreduce文件夹中hadoop-mapreduce-examples-2.7.3.jar这个Java程序，调用wordcount方法，输入为/wordcount/input/input.txt，输出结果存储在/wordcount/output里。以下是运行细节：

报错信息：Diagnostics: Failed to setup local dir /tmp/hadoop-81228/nm-local-dir, which was marked as good.

解决方法：使用管理员身份命令行启动Hadoop集群，然后使用普通用户身份命令行提交作业。
以管理员身份打开命令行窗口，cd定位到C:\hadoop-2.7.3\sbin下，再次启动Hadoop集群：
再次运行7中的命令，可以看到，成功运行：
键入hdfs dfs -ls /wordcount命令，显示wordcount文件夹里的内容，可以看到output文件夹：
键入hadoop dfs -cat /wordcount/output命令，output文件夹下有两个文件：

在工作的顺利完成，MapReduce的运行时创建的输出目录中的文件_SUCCESS。
键入hadoop dfs -cat /wordcount/output/part-r-00000命令，查看part-r-00000文件，里面就是我们要的结果：

完整的MapReduce结果如下所示：

'Cause  1
And     8
Baby    4
Begging 1
But     1
Cause   1
Don't   1
Escape  1
Go      1
He      1
I       18
I'll    4
I'm     1
I've    1
Is      1
It's    4
Juliet  3
Little  1
Marry   1
My      1
Oh      4
On      1
Romeo   6
See     1
So      2
That    1
They're 1
This    1
We      2
When    1
Wondering       1
You'll  2
a       9
afraid  1
air     1
all     3
alone   4
and     5
around  1
away    2
balcony 1
ball    1
be      10
been    1
begging 1
both    2
but     2
can     2
cause   1
close   2
come    1
coming  1
crowd   1
crying  1
dad     1
daddy   2
dead    1
did     1
difficult       1
do      2
don't   3
dress   1
ever    1
everything      1
eyes    2
fading  1
faith   1
feel    1
feeling 1
first   2
flashback       1
for     2
from    2
garden  1
go      2
got     1
gowns   1
ground  1
have    1
head    1
hello   1
how     1
if      2
in      3
is      3
it      1
it's    1
just    4
keep    2
knelt   1
knew    1
know    3
left    2
letter  1
lights  1
little  1
love    6
make    2
me      7
mess    1
met     1
my      4
never   2
of      3
oh      7
on      2
out     4
outskirts       1
party   1
pebbles 1
pick    1
please  2
prince  2
princess        2
pulled  1
quiet   1
real    1
really  1
ring    1
run     2
said    6
save    2
saw     2
say     5
scarlet 1
see     3
sneak   1
so      1
somewhere       2
staircase       1
standing        1
starts  1
stay    2
story   4
summer  1
take    2
talked  1
tell    1
that's  1
the     13
there   1
there's 2
they    1
think   1
this    3
through 1
throwing        1
tired   1
to      11
town    2
trying  1
waiting 4
was     4
way     1
we      3
we'll   1
we're   1
were    7
what    1
when    2
while   1
white   1
yes     4
you     16
you'll  1
young   2
your    3