谈笑间学会MapReduce-优化Map任务核心原理

优化Map任务

如何优化呢？首先我们要知道map任务这一阶段的流程和瓶颈，才可以进行“因材施教”进行优化，map任务流程图如下：

由图可知，详细流程如下：在Read阶段，map任务从Hadoop分布式文件系统（HDFS）读取固定大小（如64MB）的数据块。而写入的文件根据实际的情况也不同，可以是任意大小的数据块（如80MB）。这种情况下，为了存储数据，就有两种数据块：一种是64MB，另一种是16MB。在这个阶段进行性能分析时，我们不仅要测量Read阶段的持续时间，还要记录map任务读取的数据量。

要分析map阶段，就要测量整个map函数的执行时间和处理的记录总数，并规范化为每条记录的处理时间。测量执行时间时需要检查超常规数据，这通常是大量小文件或者单个不可拆分的大文件造成的。可以通过比较所以的map任务（同一作业）的输入数据大小，来发现是否存在超常规数据。

在spill阶段，框架对中间数据进行本地排序，并针对不同reduce任务进行划分，如果有可用的combiner则进行合并，然后把中间数据写入磁盘，要对这个阶段进行性能分析，我们要测了执行上述全部任务的时间。如果使用了combiner，处理时间应该包含执行时间。

在Fetch阶段，我们要测量框架把Map阶段的输出缓冲到内存花费的时间以及产生的中间数据的量。最后一个Merge阶段，针对每一个reduce任务，我们要测量框架把不通的溢写文件合并成单个溢写文件花费的时间。

输入数据和块大小的影响

在进入Read阶段之前，需要先在文件系统中定位数据。数据模式也会影响MapReduce作业性能。要使map任务高效运行&#x