大数据之hadoop中的MapReduce（WordCount实例）

1、概述

        MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。

        优点：易于编程（用户只关心业务逻辑即可）、良好的扩展性（可以动态增加服务器）、高容错性（任意一台机器挂掉，可以将任务转移到另一节点）、适合海量数据计算（PB/BP）

        缺点：不擅长实时计算、不擅长流式计算、不擅长 DAG（有向无环图）计算（相当于一个迭代式的计算，一台服务器计算后结果一次传递下去）

        MapReduce的核心思想

 注：Map阶段由MapTask并发实例，完全并行运行，互不相干，reduce阶段由reduceTask并发实例互不相干，但是依赖于上一阶段Map的输出。

        MapReduce编程规范

1、Mapper阶段

        （1）用户自定义的Mapper要继承自己的父类

        （2）Mapper的输入数据是KV对的形式（KV的类型可自定义）

        （3）Mapper中的业务逻辑写在map()方法中

        （4）Mapper的输出数据是KV对的形式（KV的类型可自定义）

        （5）map()方法（MapTask进程）对每一个调用一 次

2、reduce阶段

        （1）用户自定义的Reducer要继承自己的父类

        （2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV

        （3）Reducer的业务逻辑写在reduce()方法中

        （4）ReduceTask进程对每一组相同k的组调用一次reduce()方法

3．Driver阶段

         相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是 封装了MapReduce程序相关运行参数的job对象

WordCount案例（先是本地模式，然后将其打包上传到集群进行运行）

        首先准备一个数据文本文件数据如下：

         接着开始对idea进行项目环境搭建，创建一个Maven工程，在pom.xml文件中添加依赖