Hadoop-2.4.1学习之Map任务源码分析(上)

      众所周知,Mapper是MapReduce编程模式中最重要的环节之一(另一个当然是Reducer了)。在Hadoop-2.x版本中虽然不再有JobTracker和TaskTracker,但Mapper任务的功能却没有变化,本篇文章将结合源代码深入分析Mapper任务时如何执行的,包括处理InputSplit,mapper的输出、对输出分类等。在进行分析之前先明确几个概念:作业、任务、任务的阶段和任务的状态,可以将作业理解为要最终实现的功能或目的,比如统计单词的数量,而任务就是对该作业的拆分,只负责一部分作业,比如在统计单词数量的例子中,将一个作业交由10个任务去完成。任务的阶段指的是当前任务在执行什么功能,比如map和分类功能,在hadoop中一个任务的阶段由枚举类Phase定义,具体有6个阶段:STARTING、MAP、SHUFFLE、SORT、REDUCE、CLEANUP。任务的状态指的是该任务所处于的状态,比如运行中,失败等,具体由枚举类State定义:RUNNING、SUCCEEDED、FAILED、UNASSIGNED、KILLED、COMMIT_PENDING、FAILED_UNCLEAN、KILLED_UNCLEAN。

      在hadoop中map任务是由类MapTask表示的,该类提供了众多的内部类用于完成map任务,比如读取输入,收集输出等。在该类的开头语句块中定义了map任务的阶段:

{   // set phase for this task
    setPhase(TaskStatus.Phase.MAP); 
    getProgress().setStatus("map");
}

   

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值