MapReduce原理梳理

mapReduce 实际是一个分布式计算的框架，其核心功能就是将用户的业务逻辑代码整合成一个完整的分布式运算程序，并发运行在hadoop集群上。

分布式计算框架提出的原因是因为

1. 海量数据在单机环境下由于资源限制而无法完成。
2. 如果直接将一个普通的java程序优化成分布式版本，会增加程序的复杂度与设计难度
3. 引入mapreduce框架之后，开发人员只需要关注业务逻辑的实现而将其中复杂的重复逻辑交由框架进行处理。

用一个介绍mapreduce框架时经常使用的wordCount业务需求来看，如果自己开发全部逻辑：

单机版：内存是否可以存储下？不行的话使用外部排序；但是磁盘能否装得下？；需要多强大的处理支持计算？

分布式：

1. 分布式存储（交由框架即为HDFS）
2. 可以将整个运算流程分为两个或多个阶段（交由框架即为map阶段：独立并发， reduce阶段：汇聚计算）
3. 多线程程序包的分发
4. 数据的分段与分发
5. 不同阶段的数据如何启动，如何协调不同阶段的进度?
6. 整个运行过程中如何监控运行状态, 某阶段失败后如何自动重试, 下一阶段如何等待?

那么如果把各个分布式所增加的复杂逻辑全部都交由框架进行处理,那么开发人员就可专注于核心业务逻辑的实现:

1. MRAppMaster
2. MapTask
3. ReduceTask