Map Reduce

最新推荐文章于 2023-09-08 13:12:16 发布

weixin_45512368

最新推荐文章于 2023-09-08 13:12:16 发布

阅读量786

点赞数

分类专栏：大数据文章标签：大数据 java 运维

本文链接：https://blog.csdn.net/weixin_45512368/article/details/125916567

版权

MapReduce是Hadoop的核心组件，采用分而治之的策略处理大规模数据。Map任务负责数据的获取、分割及初步处理，Reduce任务则进行结果汇总。计算过程包括Map、Shuffle和Reduce三个阶段，Map阶段对数据并行处理，Shuffle阶段进行数据排序和分区，Reduce阶段完成最终计算。用户只需实现map()和reduce()方法即可，其余分布式处理细节由框架自动处理。

摘要由CSDN通过智能技术生成

文章目录

Map Reduce 简介

Map Reduce 简介

Map Reduce 是Hadoop的核心出组成框架，使用该框架编写的应用程序能够在一种可靠、容错的方式并行处理大型集群（数千个节点）上的大量数据（TP级别以上），也可以对大数据进行加工、挖掘、和优化等处理。

一个 Map Reduce 任务主要包括两个部分：Map任务和Reduce的任务，Map任务负责对数据的获取和分割以及处理，其核心执行方法为Map()方法；Reduce任务负责对Map任务的结果进行汇总，其核心执行的方法为reduce()方法。Map Reduce将并行计算过程高度抽象到了map()方法和reduce()方法中，所以只需要对这两个方法将进行程序的编写工作，而并行程序中的其它复杂问题（比如分布式存储、工作调度、负载均衡、容错处理等）均可由Map Reduce框架代为处理

1、设计思想

Map Reduce的设计思想是，从HDFS中获得输入数据，将输入的一个大的数据集分割成错个小数据集然后并行每个小数据集的结果进行汇总，得到最终的计算结果

在这里插入图片描述

	在Map Reduce并行计算中，对大数据集分割后的小数据集进行计算，采用的是map()方法，各个map()方法对输入的数据进行并行处理，对不同的输入数据产生不同的输出结果：而对小数据集最终结果的合并，采用的是reduce()放法，各个reduce()方法也各自进行并行计算，各自负责处理不同的数据集合，但是在reduce()方法处理之前，必须等到map()方法处理完毕，因此在数据进入到reduce()方法之前需要一个中间阶段，负责对map()方法的输出结果进行整理，将整理后的结果输入到reduce()方法，这个中间阶段叫做Shuffle阶段

	此外，进行Map Reduce计算时，有时候需要把最终的数据输出到不同的文件中，比如，按照省份划分的话，需要把同一个省份的数据输出到一个文件中，按照性别划分的话，需要把同一性别的数据输出到一个文件中，因为我们都知道，最终的输出数据来自reduce任务，如果要得到多个文件，意味着有同样数量的Reduce任务在运行，而Reduce任务的数据来自于Map任务，也就是说，Map任务要进行数据划分，对于不同的数据分配给不同的Reduce任务执行，Map任务划分数据的过程就称作分区(Partition)