MapReduce实现WordCount

一、MapReduce 核心编程思想

主要为map阶段和reduce阶段,如图

二、MapReduce 进程

（1）MrAppMaster：负责整个程序的过程调度及状态协调。

（2）MapTask：负责 Map 阶段的整个数据处理流程。

（3）ReduceTask：负责 Reduce 阶段的整个数据处理流程。

三、MapReduce 编程规范

 用户编写的程序分成三个部分：Mapper、Reducer 和 Driver。

1．Mapper阶段

（1）用户自定义的类要继承Mapper类

（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）

（3）Mapper中的业务逻辑写在map()方法中

（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）

（5）map()方法（MapTask进程）对每一个<K,V>调用一次

2．Reducer阶段

（1）用户自定义的类要继承Reducer类

（2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV

（3）Reducer的业务逻辑写在reduce()方法中

（4）ReduceTask进程对每一组相同k的<k,v>组调用一次reduce()方法

3．Driver阶段

    相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是

    封装了MapReduce程序相关运行参数的job对象

四、WordCount测试

1、本地测试

需要首先配置好 HADOOP_HOME 变量以及 Windows 运行依赖

配置 HADOOP_HOME 环境变量

配置 Path 环境变量

数据准备（inp