MapReduce编程

四、 实验方法与步骤

在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt。  

文件wordfile.txt的内容如下：

文件wordfile2.txt的内容如下：

（一）在Eclipse中创建项目

首先，启动Eclipse

 

直接采用默认的设置“/home/hadoop/workspace”，点击“OK”按钮。

Eclipse启动以后，呈现的界面如下图所示

选择“File-->New-->Java Project”菜单，开始创建一个Java工程，弹出如下图所示界面

在“Project name”后面输入工程名称“WordCount”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/WordCount”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如jdk1.8.0_162。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

（二）为项目添加需要用到的JAR包

进入下一步的设置以后，会弹出如下图所示界面。

在这个界面中加载该Java工程所需要用到的JAR包，这些JAR包中包含了与Hadoop相关的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下，就是在“/usr/local/hadoop/share/hadoop”目录下。点击界面中的“Libraries”选项卡，然后，点击界面右侧的“Add External JARs…”按钮，

为了编写一个MapReduce程序，一般需要向Java工程中添加以下JAR包：
（1）“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.1.3.jar

haoop-nfs-3.1.3.jar；
（2）“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，但是，不包括jdiff、lib、lib-examples和sources目录，具体如下图所示。
（4）“/usr/local/hadoop/share/hadoop/mapreduce/lib”目录下的所有JAR包。
当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程WordCount的创建。

 （三）编写Java应用程序

编写一个Java应用程序，即WordCount.java。在Eclipse工作界面左侧的“Package Explorer”面板中，找到刚才创建好的工程名称“WordCount”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New-->Class”菜单。

选择“New-->Class”菜单以后会出现如下图所示界面。

在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“WordCount”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮，出现如下图所示界面。
 

可以看出，Eclipse自动创建了一个名为“WordCount.java”的源代码文件，并且包含了代码“public class WordCount{}”，清空该文件里面的代码，然后在该文件中输入完整的词频统计程序代码

 编译打包程序

现在可以编译编写的代码。直接点击Eclipse工作界面上部的运行程序的快捷按钮，当把鼠标移动到该按钮上时，在弹出的菜单中选择“Run as”，继续在弹出来的菜单中选择“Java Application”，如下图所示。

然后，会弹出如下图所示界面。

点击界面右下角的“OK”按钮，开始运行程序。程序运行结束后，会在“Console”面板中显示运行结果信息

下面把Java应用程序打包生成JAR包，部署到Hadoop平台上运行。现在把词频统计程序放在“/usr/local/hadoop/myapp”目录下。如果该目录不存在创建：

首先，在Eclipse工作界面左侧的“Package Explorer”面板中，在工程名称“WordCount”上点击鼠标右键，在弹出的菜单中选择“Export”，

然后，会弹出如下图所示界面。

在该界面中，选择“Runnable JAR file”，然后，点击“Next>”按钮，弹出如下图所示界面。

在该界面中，“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“WordCount-WordCount”。在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/usr/local/hadoop/myapp/WordCount.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。然后，点击“Finish”按钮，会出现如下图所示界面。

可以忽略该界面的信息，直接点击界面右下角的“OK”按钮，启动打包过程。打包过程结束后，会出现一个警告信息界面，如下图所示。

可以忽略该界面的信息，直接点击界面右下角的“OK”按钮。至此，已经顺利把WordCount工程打包生成了WordCount.jar。可以到Linux系统中查看一下生成的WordCount.jar文件，可以在Linux的终端中执行如下命令：

可以看到，“/usr/local/hadoop/myapp”目录下已经存在一个WordCount.jar文件。

5. 运行程序

在运行程序之前，需要启动Hadoop

在启动Hadoop之后，需要首先删除HDFS中与当前Linux用户hadoop对应的input和output目录（即HDFS中的“/user/hadoop/input”和“/user/hadoop/output”目录），这样确保后面程序运行不会出现问题，

然后，再在HDFS中新建与当前Linux用户hadoop对应的input目录，即“/user/hadoop/input”目录，具体命令如下：

然后，把之前在Linux本地文件系统中新建的两个文件wordfile1.txt和wordfile2.txt（，上传到HDFS中的“/user/hadoop/input”目录下

如果HDFS中已经存在目录“/user/hadoop/output”，则使用如下命令删除该目录：

现在，就可以在Linux系统中，使用hadoop jar命令运行程序

词频统计结果已经被写入了HDFS的“/user/hadoop/output”目录中，可以执行如下命令查看词频统计结果：

五、 实验数据记录、处理及结果分析：

（一）在Eclipse中创建项目

首先，启动Eclipse

由于当前是采用hadoop用户登录了Linux系统，因此，默认的工作空间目录位于hadoop用户目录“/home/hadoop”下。

Eclipse启动以后，呈现的界面如下图所示

（二）创建一个Java工程，

在“Project name”后面输入工程名称“WordCount”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/WordCount”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如jdk1.8.0_162。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

（三）为项目添加需要用到的JAR包

为了编写一个MapReduce程序，一般需要向Java工程中添加以下JAR包：
（1）“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.1.3.jar

haoop-nfs-3.1.3.jar；

（2）“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；

（3）“/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，但是，不包括jdiff、lib、lib-examples和sources目录，

（4）“/usr/local/hadoop/share/hadoop/mapreduce/lib”目录下的所有JAR包。

完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程WordCount的创建。

 （四）编写Java应用程序

编写一个Java应用程序，即WordCount.java。

在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“WordCount”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮。
可知Eclipse自动创建了一个名为“WordCount.java”的源代码文件，并且包含了代码“public class WordCount{}”，清空该文件里面的代码，然后在该文件中输入完整的词频统计程序代码

 （五）编译打包程序

编译编写的代码。然后，会弹出如下图所示界面。

点击界面右下角的“OK”按钮，开始运行程序。程序运行结束后，会在“Console”面板中显示运行结果信息

下面把Java应用程序打包生成JAR包，部署到Hadoop平台上运行。

在该界面中，选择“Runnable JAR file”，然后，点击“Next>”按钮，

跳转页面后，“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“WordCount-WordCount”。在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/usr/local/hadoop/myapp/WordCount.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。然后，点击“Finish”按钮，

至此，已经顺利把WordCount工程打包生成了WordCount.jar。可以到Linux系统中查看一下生成的WordCount.jar文件，

可以看到，“/usr/local/hadoop/myapp”目录下已经存在一个WordCount.jar文件。

（六）. 运行程序

现在，在Linux系统中，使用hadoop jar命令运行程序

词频统计结果已经被写入了HDFS的“/user/hadoop/output”目录中，可以执行如下命令查看词频统计结果：

（七）遇到的问题及解决方法

Eclipse启动以后，呈现的界面如下图所示

Eclipse工作界面左侧没有“Package Explorer”面板

解决：

后出现Package Explorer面板