MapReduce是一个分布式运算编程框架，简化了海量数据在集群上的处理。它包含MRAppMaster、mapTask和reduceTask三类进程。MapReduce运行流程包括：MRAppMaster启动并调度任务，mapTask进行数据处理，所有map任务完成后启动reduceTask。mapTask分为六个阶段，包括输入分片、解析键值对、调用map方法、分区、排序和可选的归约处理。Reducer任务则通过复制Mapper输出、数据合并排序及调用reduce方法完成数据处理。
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
为什么要MapReduce？
（1）海量数据在单机上处理因为硬件资源限制，无法胜任
（2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度
（3）引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理
’1.1MapReduce结构
一个完整的mapreduce程序在分布式运行时有三类实例进程：
1、MRAppMaster：负责整个程序的过程调度及状态协调
2、mapTask：负责map阶段的整个数据处理流程
3、ReduceTask：负责reduce
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
