MapReduce>分布式计算框架MapReduce(A)

Hadoop组成

• Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。
• Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。
• Hadoop Yarn：基于HDFS,用于作业调度和集群资源管理的框架。
  

分布式并行计算框架MapReduce

• 什么是计算框架？
  是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。用于去解决或者处理某个复杂的计算问题
  
• 什么是并行计算框架？
  是指为更快的计算某项任务或某项工作，将计算程序分发到多台服务器上，使每个服务器计算总任务的一部分，多台服务器同时计算的框架。
  总结：（一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算）
  
• 什么是分布式计算？
  分布式计算：是一种计算方法，是将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
  

Hadoop为什么比传统技术方案快？

核心原因一：使用分布式存储。
核心原因二：使用分布式并行计算框架。
原因 三：节点横向扩展
原因 四：移动程序到数据端
原因 五：多个数据副本

理解MapReduce思想

• 需求：有一个五层的图书馆，需要获取图书馆中一共有多少本书。
  只有一个人时，是能一本一本的数！工作量巨大，耗时较长。

  • 分配五个人由你支配。此时你怎么支配？
    五个人，每个人数一层的书量，最终将五个人的量汇总求和，就是图书馆中最终书的数量。

• MapReduce核心思想
  “分而治之，先分后合”。即将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。

• MapReduce由两部分组成，分别是Map 和Reduce两部分。

  • Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。例如前面例子中的分配每个人数一层楼。
  • Reduce负责“合”，即对map阶段的结果进行全局汇总。例如前面例子中将五个人的结果汇总。

这两个阶段合起来正是MapReduce思想的体现。

MapReduce并行计算

HDFS存储数据时对大于128M的数据会进行数据切分，每128M一个数据块，数据块会分散、分布存储到HDFS。
MapReduce在进行计算前会复制计算程序，每个数据块会分配一个独立的计算程序副本（MapTack）。计算时多个数据块几乎同时被读取并计算，但是计算程序完全相同。最终将各个计算程序计算的结果进行汇总（Reduce来汇总）

Hadoop -MapReduce设计构思

MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。
既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output）。

Hadoop MapReduce构思体现在如下的三个方面：

• 如何应对大数据处理：分而治之
  对相互间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略。并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算！

• 构建抽象模型：Map和Reduce
  MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。
  Map: 对一组数据元素进行某种重复式的处理；
  Reduce: 对Map的中间结果进行某种进一步的结果整理。
  MapReduce中定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现:
  map: [k1,v1] → [(k2,v2)]
  reduce: [k2, {v2,…}] → [k3, v3]
  
  WordCount体现每个KeyValue
  
  Map和Reduce为程序员提供了一个清晰的操作接口抽象描述。通过以上两个编程接口，大家可以看出MapReduce处理的数据类型是<key,value>键值对。

• 统一构架，隐藏系统层细节

  • 如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。
  • MapReduce最大的亮点在于通过抽象模型和计算框架把需要做什么(what need to do)与具体怎么做(how to do)分开了，为程序员提供一个抽象和高层的编程接口和框架。程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题的程序代码。如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来,交给计算框架去处理：从分布代码的执行，到大到数千小到单个节点集群的自动调度使用

MapReduce编程初体验

需求：在给定的文本文件中统计输出每一个单词出现的总次数

数据格式准备如下：

[root@node01 ~]# cd /export/servers
[root@node01 servers]# vim wordcount.txt
# wordcount.txt 写入以下数据
hello,world,hadoop
hello,hive,sqoop,flume
kitty,tom,jerry,world
hadoop

hdfs dfs -mkdir /wordcount/
hdfs dfs -put wordcount.txt /wordcount/

• 项目POM文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.itcast</groupId>
    <artifactId>mapreduce</artifactId>
    <version>1.0-SNAPSHOT</version>
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency>
            <groupId>org.apache.Hadoop</groupId>
            <artifactId>Hadoop-client</artifactId>
            <version>2.6.0-mr1-cdh5.14.0</version>
        </dependency>
        <dependency>
            &l