目录 什么是计算框架? 什么是并行计算框架? 什么是分布式计算? MapReduce核心思想 MapReduce并行计算 MapReduce设计构思 Hadoop MapReduce构思体现在如下的三个方面: 如何应对大数据处理:分而治之 构建抽象模型:Map和Reduce 统一构架,隐藏系统层细节 MapReduce的combiner MapTask运行机制详解以及Map任务的并行度 详细步骤: ReduceTask 工作机制以及reduceTask的并行度 详细步骤: MapReduce总体工作机制图 MapReduceshuffle过程 Mapreduce的其他补充 1、 多job串联 2、mapreduce资源相关参数优化 3、mapreduce容错相关参数优化 4、mapreduce效率和稳定性相关参数优化