【MapReduce】介绍和基本构思

最新推荐文章于 2022-05-10 14:11:09 发布

快乐的冲浪码农

最新推荐文章于 2022-05-10 14:11:09 发布

阅读量561

点赞数

分类专栏：大数据相关技术汇总文章标签： mapreduce hadoop

本文链接：https://blog.csdn.net/qq_45650899/article/details/109657786

版权

本文是MapReduce的学习笔记，详细介绍了MapReduce的核心思想——分而治之，及其在大规模数据处理中的应用。内容涵盖MapReduce的基本介绍、设计构思，以及Map和Reduce阶段的功能。此外，还阐述了MapReduce程序在Hadoop集群中的运行过程，包括ResourceManager、NodeManager的角色，以及MapReduce分布式运算的执行流程。

摘要由CSDN通过智能技术生成

【MapReduce】系列学习笔记：

1 MapReduce介绍

1、核心思想：分而治之

2、适用于大量复杂的任务处理场景（大规模数据处理场景）

部分	功能
Map	负责“分”，即将复杂的任务分解为若干个“简单的任务来并行处理，可以进行拆分的前提是这些小任务可以并行计算，彼此间没有依赖关系”
Reduce	负责“合”，对map阶段的结果进行全局汇总

最低0.47元/天解锁文章

快乐的冲浪码农

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
【MapReduce】介绍和基本构思

「MapReduce」系列学习笔记：基本介绍文章目录MapReduce介绍设计构思MapReduce介绍1、核心思想：分而治之2、适用于大量复杂的任务处理场景（大规模数据处理场景）部分功能Map负责“分”，即将复杂的任务分解为若干个“简单的任务来并行处理，可以进行拆分的前提是这些小任务可以并行计算，彼此间没有依赖关系”Reduce负责“合”，对map阶段的结果进行全局汇总MapReduce运行在yarn集群：ResourceManager（主）Nod
复制链接

扫一扫