1.需求
统计一个文件中每一个单词出现的总次数。
2.案例数据
wordcount.txt文件如下
hello world MapReduce
hadoop world Yarn
hello hadoop Hdfs
3.分析
分别编写自定义 Mapper,Reducer,Driver。
(1)Mapper类逻辑处理:
①将 map 端输入为内容转换为 String 类型。
②根据文件内容分隔符(空格)将每一行切分成单词。
③Map 端输出数据的<K,V>格式为<word,1>,将每一个单词作为 K 输出。
(2)Reducer 类处理逻辑:
①统计每一个 K(单词)的个数。
②Reduce 端输出数据<K,V>格式为<word,总次数>。
(3)Driver 类:
①获取配置信息类对象。
②指定 Driver 程序的 jar 包所在的本地路径。
③关联自定义的 Mapper/Reducer 业务类。
④指定 Mapper 端数据数据的 K,V 类型。
⑤指定最终输出的数据的 K,V 类型。
⑥指定 job 任务的输入路径和输出路径。
⑦提交任务。
4.代码编写
(1)使用idea创建工程并导入相应依赖
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>2.6.0</version>
</dependency>
(2)编写Mapper类:
package com