从零开始了解大数据(四)：MapReduce篇

橘子-青衫

于 2023-12-13 00:00:00 发布

阅读量1.2k

点赞数 21

分类专栏：大数据从零开始了解大数据文章标签：大数据 mapreduce hadoop 分布式

本文链接：https://blog.csdn.net/jiangyq_/article/details/134915731

版权

大数据同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

从零开始了解大数据

7 篇文章 0 订阅

订阅专栏

前言

MapReduce作为Hadoop的核心组件之一，为大规模数据处理提供了高效可靠的解决方案。本文将对MapReduce进行介绍，希望对大家有所帮助。

一、MapReduce思想

MapReduce，从其名字即可窥见其核心思想：将任务分为两个阶段，先进行映射（Map）操作，再进行规约（Reduce）操作。这一设计背后的理念体现了计算机科学中的“分而治之”策略，对于大规模数据处理尤为有效。

1.先分再合，分而治之

MapReduce的思想核心是“先分再合，分而治之”。具体来说，当面对一个庞大、复杂的问题时，MapReduce提倡我们首先将其分解为若干个小而简单的子问题。这些子问题不仅更容易解决，而且彼此之间相对独立，可以并行处理。一旦所有子问题得到解答，再将这些中间结果合并起来，形成对原始问题的完整解答。

2.Map阶段——拆分

Map是MapReduce的第一个阶段，其任务是对输入的数据进行“拆分”。这里的“拆分”并不仅仅是简单地将数据切分为若干块，而是根据某种策略或逻辑，将数据转化为一系列键值对。这些键值对经过一定的处理后，会输出到中间阶段，为后续的Reduce操作做准备。

进行拆分的关键在于确保拆分后的子任务可以并行处理，且彼此之间没有依赖关系。这样不仅可以提高处理速度，还可以确保每个子任务都能独立、准确地完成。

3.Reduce阶段——合并

Reduce阶段紧随Map阶段之后，其主要任务是对Map阶段输出的键值对进行“合并”。这里的“合并”是对具有相同键的数据进行聚合操作，根据具体业务逻辑进行处理，并最终输出处理结果。

例如，如果我们想要统计某个词在大量文档中的出现次数，Map阶段会首先找出所有包含该词的文档，并为每个文档生成一个键值对（其中键为该词，值为1）。进入Reduce阶段后，系统会对所有相同键的键值对进行合并，计算出该词的总出现次数。

总之，MapReduce通过“先分再合”的策略，将大规模数据处理任务简化为一系列小规模、可并行的子任务，从而大大提高了数据处理的速度和效率。

二、MapReduce设计构思

Hadoop MapReduce是一个为处理大数据而设计的编程模型和计算框架。其核心思想是将大数据处理任务分解为两个主要阶段：Map阶段和Reduce阶段。这种分而治之的策略非常适合处理那些相互间不具有计算依赖关系的大数据计算任务。

1. 如何对付大数据处理场景

在大数据处理场景中，我们通常面对的是PB级别的数据，传统的单机处理模式显然无法满足需求。MapReduce通过一种分而治之的策略，将大数据拆分成若干份小数据，并发地进行处理。

Map阶段：此阶段负责把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果。这里的拆分可以是按照数据的某一特性，如根据键值进行hash分配，确保每个split大小相当，从而实现负载均衡。
Reduce阶段：在Map阶段完成后，所有产生的中间结果会被shuffle到相应的Reduce任务中。通过程序对并行的结果进行最终的汇总计算，得出最终的结果。这个阶段通常用于数据的聚合操作，如求和、计数等。

需要注意的是，不可拆分的计算任务或相互间有依赖关系的数据无法进行并行计算。MapReduce更适用于那些可以并行处理，且各部分之间没有强依赖关系的任务。

2. 构建抽象编程模型

MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。

map: 对一组数据元素进行某种重复式的处理。它接收一个<key, value>对，并产生一系列中间<key, value>对。这个处理过程是完全独立的，不与其他数据元素的处理过程交互。
reduce: 对Map的中间结果进行某种进一步的结果整理。它接收一个key和与该key关联的一组value的集合，然后进行合并操作，产生一个较小的value集合。

MapReduce中定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现：

map: (k1, v1) → list(k2, v2)

reduce: (k2, list(v2)) → list(k3, v3)

3. 统一架构、隐藏底层细节

Hadoop MapReduce提供了一个统一的分布式计算框架，隐藏了底层分布式存储（如HDFS）和分布式计算的复杂性。用户只需关注自己的业务逻辑，而不需要关心数据是如何被拆分、如何在集群中传输和如何被并行处理的。这使得大数据处理变得更加简单和高效。同时，Hadoop MapReduce还具有很好的扩展性，可以轻松地通过增加节点来扩展计算能力。

三、MapReduce深入解析

1. MapReduce的核心特点

易于编程：Mapreduce框架为用户提供了丰富的API，使得用户可以轻松地编写分布式应用程序，而无需了解分布式系统的底层细节。只需实现一些简单的接口，用户便可以完成一个分布式程序的编写，并将其部署到Hadoop集群上运行。
良好的扩展性：当计算资源不足时，Hadoop允许用户通过简单地增加硬件资源来扩展计算能力。基于MapReduce的分布式计算可以随着节点数量的增加保持近线性的性能提升，这一特点使得Hadoop能够轻松处理数百TB甚至PB级别的数据。
高容错性：由于Hadoop集群是分布式搭建和部署的，因此集群中的任何单一节点故障都不会影响整个作业任务的完成。Hadoop内部具有完善的容错机制，可以在节点故障时将计算任务自动转移至其他节点，确保作业的顺利进行。
适合海量数据的离线处理：Hadoop MapReduce特别适合处理大规模数据集，无论是GB、TB还是PB级别的数据，都可以轻松应对。

2.MapReduce的局限性

尽管MapReduce具有许多优点，但它也存在一些局限性：

实时计算性能差：MapReduce主要针对的是离线作业，通常不适合需要秒级或亚秒级响应的实时计算场景。
不能进行流式计算：流式计算需要处理的数据是源源不断的，并且数据是动态变化的。然而，作为一个离线计算框架，MapReduce主要针对的是静态数据集，无法很好地支持流式计算。

3.MapReduce实例进程解析

在分布式环境下运行一个完整的MapReduce程序时，会涉及到三类主要的实例进程：

MRAppMaster：负责整个MapReduce程序的过程调度及状态协调。
MapTask：负责执行Map阶段的全部数据处理流程。
ReduceTask：负责执行Reduce阶段的全部数据处理流程。

4.MapReduce的阶段组成

在MapReduce的编程模型中，每个作业只能包含一个Map阶段和一个Reduce阶段，或者只有Map阶段。不允许出现多个Map阶段或多个Reduce阶段的情况。如果用户的业务逻辑非常复杂，需要通过多个MapReduce程序串行运行来实现。

5.MapReduce中的数据类型

在整个MapReduce程序中，数据的流转都是以键值对（key-value pair）的形式进行的。这种数据结构的选择简化了数据的处理和转换过程，使得数据在不同阶段之间的传递更加高效和灵活。

四、MapReduce执行流程

1. MapReduce整体执行流程图

2. Map阶段执行过程

第一阶段：切片规划

在Map阶段开始之前，系统首先会对输入目录下的文件进行逻辑切片，形成一个切片规划。默认情况下，每个切片的大小等于HDFS中的块大小，即128MB。每一个切片将由一个MapTask进行处理。这个过程是通过调用getSplits方法来实现的。

第二阶段：数据读取与解析

接下来，系统会按照一定规则读取并解析切片中的数据。默认情况下，数据是按行进行读取的。在这个过程中，每一行的起始位置偏移量被用作key，而本行的文本内容被用作value。这个过程是通过TextInputFormat类来实现的。

第三阶段：Mapper处理

在数据读取和解析完成后，系统会调用Mapper类中的map方法来处理这些数据。具体来说，每读取并解析出来的一对键值对，都会调用一次map方法进行处理。

第四阶段：数据分区

Mapper处理完成后，系统会按照一定的规则对输出的键值对进行分区。默认情况下，如果不指定分区数量，那么只有一个ReduceTask，因此也就不会进行分区。但是，如果有多个ReduceTask，那么分区的数量就会等于ReduceTask的数量。这个过程是通过Partitioner类来实现的。

第五阶段：内存缓冲与溢出排序

在数据分区完成后，Map输出的数据首先会被写入到内存缓冲区中。当内存缓冲区达到一定的比例时，数据会溢出到磁盘上。在溢出的过程中，系统会根据key进行排序。默认情况下，排序是按照key的字典序进行的。这个过程确保了相同key的数据在后续处理中能够聚集在一起。

第六阶段：合并溢出文件

最后，系统会对所有溢出的文件进行最终的合并，成为一个文件。这个过程是为了准备将数据传递给Reduce阶段进行处理。合并后的文件将作为Reduce阶段的输入数据。

3. Reduce阶段执行过程

第一阶段：数据拉取

在Reduce阶段的开始，ReduceTask会主动与MapTask进行通信，以复制拉取需要自己处理的数据。这个过程主要是通过Hadoop框架的内部数据传输机制来实现的，确保数据能够高效地从MapTask传输到ReduceTask。

第二阶段：数据合并与排序

一旦ReduceTask从MapTask拉取了所有需要处理的数据，接下来会进行数据的合并（merge）操作。这个步骤的目的是将分散的数据合并成一个大的数据集，以便后续处理。合并后的数据会进行排序，确保相同键的键值对聚集在一起。排序操作是MapReduce模型中的关键步骤之一，它为后续的Reduce操作提供了必要的数据组织。

第三阶段：Reduce处理与结果输出

在完成数据的合并与排序后，ReduceTask会对排序后的键值对调用用户定义的reduce方法进行处理。在这个过程中，键相等的键值对会被聚集在一起，并调用一次reduce方法。reduce方法的具体实现取决于用户的业务需求，可以是数据的聚合、转换等操作。最后，ReduceTask将reduce方法输出的键值对写入到HDFS（Hadoop Distributed File System）文件中，作为整个MapReduce作业的最终结果。

五、Shuffle机制

在分布式计算框架Hadoop MapReduce中，Shuffle是一个至关重要的阶段，用于将Map阶段的无规则输出转化为具有一定规则的数据，以便Reduce阶段能够接收并处理。Shuffle的过程涵盖了从Map产生输出开始，到Reduce取得数据作为输入之前的整个过程。

1. Shuffle的基本概念

Map端Shuffle：在Map阶段，Shuffle主要包括Collect、Spill和Merge三个阶段。
- Collect阶段：MapTask产生的结果首先被收集并输出到一个默认大小为100M的环形缓冲区。在保存之前，系统会对key进行分区计算，默认采用Hash分区。
- Spill阶段：当内存中的数据量达到一定的阈值时，数据会被写入本地磁盘。在写入磁盘之前，数据需要进行一次排序操作。如果配置了combiner，还会将有相同分区号和key的数据进行排序，这个操作可以有效减少写入磁盘的数据量并提高后续处理的效率。
- Merge阶段：在Spill阶段后，系统会对所有溢出的临时文件进行一次合并操作，以确保每个MapTask最终只产生一个中间数据文件。

Reducer端Shuffle：在Reduce阶段，Shuffle主要包括Copy、Merge和Sort三个阶段。
- Copy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据。
- Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
- Sort阶段：在对数据进行合并的同时，会进行排序操作。由于MapTask阶段已经对数据进行了局部的排序，ReduceTask只需保证Copy的数据的最终整体有效性即可。