Hadoop权威指南学习（四）——MapReduce工作机制

1. 作业提交

Hadoop学习总结：Map-Reduce的过程解析:从代码级解析map-reduce的过程，包括client发出请求，jobtracker和tasktracker的启动、交互等以及child线程（map+reduce）的处理过程。

2. 失败：包括任务失败，tasktracker失败以及jobtracker失败（需查看源代码分析）

3. 调度器

默认的调度器是FIFO，不支持抢占，可以选择其他调度器：Fair or Capacity Scheduler

Fair Scheduler：让每个用户公平的共享集群能力，作业都会放到作业池中，默认每个用户都会有一个作业池，支持抢占。使用它需在类路径加入jar包，在contrib/fairscheduler目录下。

4. shuffle和排序

传说shuffle是MapReduce的心脏，是奇迹发生的地方。MapReduce:详解Shuffle过程对shuffle做了详细解释

5. 任务的执行

推测执行：当一个任务运行比预期慢的时候，hadoop会尽量检测并启动另一个相同的任务作为备份。比如硬件老化或软件配置错误将导致任务执行缓慢，推测任务可能先于原任务完成，但需要额外的开销，默认是开启的。

任务JVM重用：为每个任务启动一个新的JVM将耗时大约1秒，对大量超短任务（通常是map任务）的作业或初始化时间长的作业，若对后续任务重用JVM将提高性能。tasktracker可一次性在多个独立JVM内运行多个任务，每个JVM顺序运行各任务。

跳过坏记录：skipping mode