4、MapReduce思想、运行机制

MapReduce 离线计算框架

---

分而治之

• input > map > shuffle > reduce > output
• 分布式并行的计算框架

将计算过程分为两个阶段，Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总

Shuffle链接Map和Reduce两个阶段

• Map Task将数据写入到本地磁盘
• Reduce Task从每个Map Task上读取一份数据

仅适合离线批处理

• 具有很好的容错性和扩展性
• 适合简单的批处理任务

缺点明显

• 启动开销大、过多使用磁盘导致效率低下等

MapReduce on YARN

---

转载于:https://www.cnblogs.com/Grand-Jon/p/10130520.html