MapReduce

MapReduce 【分布式计算架构】 【核心思想==>分布式计算】

MapReduce的设计思想

分而治之，构建抽象模型（Map 和 Reduce 函数），隐藏系统层细节

MapReduce 可以在分布式集群的多台服务器上启动同一个计算程序，每个服务器上的进程都可以读取本服务器上要处理的数据块进行计算，因此，大量的数据就可以同时计算。

MapReduce 的特点

优点：

易于编程，可扩展性，高容错性，高吞吐量

不适用领域：

难以实时计算：MapReduce 无法像 Mysql 一样，在毫秒或者秒级内返回结果

不适合流式计算：流式计算的输入数据时动态的，而 MapReduce 的输入数据集是静态的，不能动态变化

不适合DGA计算（顺序、共享、交换、效率）：多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce 并不是不能做，而是使用后，每个MapReduce 作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

MapReduce 的计算过程

MapReduce 的计算过程分成了两个部分：

一部分是 map 过程，每个服务器会启动多个 map 过程，map 会优先读取本地数据进行计算，计算后输出一个 <key,value> 集合 m，

另一部分是 reduce 部分，MapReuce 在每个服务器上都会启动多个 reduce 进程，然后对所有 map 输出的 <key,value> 进行 shuffle 操作。

shuffle 操作就是将相同的 key 发送到同一个 reduce 进程中，在 reduce 中完成数据计算。

MapReduce的详细执行流程（分而治之）

（1）文本切片（Text Slicing）:

输入的文本数据被分割成多个切片（slices），每个切片由一个 Map Task 处理。这一步骤确保了数据可以在集群中的多个节点上并行处理。

MapReduce 框架使用 InputFormat 模块做 Map 前的预处理（进行逻辑切分），比如验证输入的格式是否符合输入定义，然后将输入的文件切分为逻辑上的多个 InputSplit，InputSplit 是 MapReduce 对文件进行处理和运算的实际单位（逻辑概念），每个InputSplit没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。

初始数据集被分割成多个数据块，每个数据块通常包含一个或多个文件，这些数据块会分布在计算集群中的不同节点上。

Map 阶段

Map阶段是MapReduce任务的第一个阶段，在这个阶段中，每个Map任务都会并行地处理一个数据块。

（2）Map Task 读取文件（Map Task Reads File）:

Map Task 通过 TextInputFormat 读取文本数据。TextInputFormat 将文本数据转换为键值对，其中键（Key）是行的起始偏移量，值（Value）是整行文本内容。这个过程是通过 RecordReader 的 read 方法实现的。（InputSplit是逻辑切分，所以需要通过RecordReader(RR)根据InputSplit的信息来处理InputSplit中的具体记录）

（3）Mapper 处理数据（Mapper Processes Data）:

Map Task 中的 Mapper 函数接收来自 RecordReader 的键值对，并对其进行处理，形成新的键值对。这些新的键值对通过 context.write 输出到 OutputCollector 收集器。

（4）输出到环形缓冲区（Output to Circular Buffer）:

OutputCollector 将收集到的键值对写入到环形缓冲区中。环形缓冲区有一个默认大小（例如 100MB），并且通常只使用其 80% 的空间，以避免溢出。（环形缓冲区其实是一个数组，前面写着，后面有个组件清理着）

（5）Spill 溢出（Spill Overflow）:

当环形缓冲区中的数据量达到其大小的 80% 时，会触发 Spill 溢出过程。在这一过程中，数据会被写入到本地磁盘上的文件中，以防止溢出。

Shuffle 阶段

（6）Shuffle 过程（Shuffle Process）:

Shuffle 是 MapReduce 中的一个关键过程，它包括分区（Partition）、排序（Sort）和局部合并（Combiner）三个步骤。Map Task 的输出会根据键值对的键进行分区和排序，如果有 Combiner，则会进行局部值的合并。

（7）分区和排序（Partitioning and Sorting）:

分区：

通过Partitioner接口对这些键值对进行分区

默认的分区方式：

采用 hash 函数对 key 进行哈希后再用 Reduce 任务得数量进行取模，这样就可以把 Map 的输出结果均匀的分配给 Reduce 任务区并行处理，也允许用户通过重载 重载 Partitioner接口 来定义分区方式。

排序：

在每个分区内，中间键值对按键的顺序进行快排排序，快排之后会形成很多的小文件（临时文件）。

合并（可选<==>Combiner）

合并是指具有相同的 key 的<key,value>的 value 加起来变成一个值，是 MapRededuce 的一种优化手段。

一个 map 可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做一次合并，以减少在 map 和 reduce 节点之间的数据传输量，以提高网络I/O 性能。

Combiner执行的是类似于Reducer的操作，但是它是在Map任务的本地输出上执行的，而不是在整个数据集上。

Combiner 的输出是 Reduce 的输入，Combiner 不能改变 Reduce 任务最终的计算结果。

（8）合并溢出文件（Merging Spill Files）:

多个溢出文件会被合并成一个大的溢出文件，合并过程使用归并排序算法，确保最终的文件是分区且区内有序的。

Reduce 阶段

（9）Reduce Task 拷贝数据（Reduce Task Copies Data）:

Map端的Shuffle结束后，所有Map的输出结果都保存在Map机器的本地磁盘上，文件都是被分区的，Reduce Task 根据自己的分区号，从各个 Map Task 节点上拷贝相同分区号的数据到本地磁盘工作目录。

（10）Reduce Task 合并文件（Reduce Task Merges Files）:

Reduce Task 会将同一分区的来自不同 Map Task 的结果文件进行合并，形成一个大文件，该文件内容按照键有序。

（11）Reduce Task 处理数据（Reduce Task Processes Data）:

Reduce Task 通过 GroupingComparator 对大文件中的数据进行分组，每次取出一组（键，值列表）键值对，并调用用户自定义的 reduce 方法进行逻辑处理。

（12）输出结果（Outputting Results）:

处理完成后，Reduce Task 通过 OutputFormat 方法将结果数据写入到最终的结果文件中，默认是 TextOutputFormat，输出的文件名格式为 part-r-00000。

OutputFormat 会验证输出目录是否已经存在以及输出结果类型是否符合配置文件中的配置类型，如果都满足，就输出 Reduce 的结果到分布式文件系统(HDFS)中。