weixin_43740211的博客

原创 MapReduce全流程剖析

mapreduce全流程MapReduce全流程之Map阶段MapReduce全流程之Reduce阶段 MapReduce全流程之Map阶段 结合上图所绘，理解下列描述。 1、数据准备：包含 a至z字母的200MB文本文件（ss.txt）。 2、客户端进行submint()操作，将任务进行提交,并且为两个块文件，向Yarn平台申请资源分配 3、通过取得资源，计算出所处理的数据块的分片数个，从而得...