Word Count案例完成过程

Word Count案例完成过程

• 前期准备

在D盘中创建input和hadoop两个文件夹，并在input文件夹下依次建立inputword文件夹，1.txt。截图如下：

 

• 环境准备
  1. 1. 1. 创建一个maven工程。

1. 1. 1. 1. 在pom.xml文件中加入如下依赖：
         2. 编写log4j的配置文件log4j.properties

• 编写程序
  1. 1. 1. 创建 “com.atguigu.mapreduce.wordcount”包
        2. 在包下创建WordCountMapper类，WordCountReducer类，WordCountDriver类。
        3. 编写WordCountMapper类，截图如下：
        4. 编写WordCountReducer类，截图如下：
        5. 编写WordCountDriver类，截图如下：

        

• Windows环境下运行测试
  1. 1. 1. 运行成功截图：

1. 1. 1. 1. 执行结果截图：

• Hadoop集群实现
  1. 1. 1. 新建一个包” com.atguigu.mapreduce.wordcount2”,同时复制WordCountMapper，WordCountReducer，WordCountDriver 到新建的包中。并运行WordCountDriver。截图如下：

1. 1. 1. 1. 在pom.xml文件中加入如下依赖：

1. 1. 1. 1. 将wordcount2进行打包，将打包好的包放在桌面上，命名为wc.jar。

1. 1. 1. 1. 打开虚拟机后开启集群，将wc.jar拖入hadoop3.1.4文件夹中。

2. 1. 1. 1. 在HDFS中创建input文件夹，并将windows中的1910224103.txt上传到此文件夹。
         2. 
         3. 

3. 1. 1. 1. 打开集群查看，显示如下：

1. 1. 1. 1. 在终端输入如下命令，并在yarn监控页面检查运行情况，截图如下：

1. 1. 1. 1. 刷新集群，打开output文件夹查看结果，截图如下：