HADOOP MR架构分析 JobTracker 和 TaskTracker

HADOOP 中 MR架构 是基于网络的架构。其中有两个比较重要的类:JobTracker 和 TaskTracker，JobTracker 和 TaskTracker 是一对多的关系， 多个 TaskTracker主动地向JobTracker发送请求（称作heartbeat），JobTracker接收到请求后，要完成一个最重要的工作就是为该TaskTracker分配一个actions列表，这里面包含了该TaskTracker需要执行的任务（task）集合。
TaskTracker接收到这个action列表时，会调用TaskLauncher的方法把task加入到tasksToLaunch这个list中。
TaskLauncher是一个线程，会不断处理tasksToLaunch这个llist。通过创建TaskRunner这个线程，TaskRunner则要委派JvmManager执行，JvmManager分析是否需要启动新的JVM，还是沿用处于空闲状态的JVM来启动这个任务。最后会交给UNIXProcess这个java.lang.Process的类来真正运行Task。
TaskRunner比较重要，要准备JVM运行的一些参数vmargs：
java路径，
mapred.child.java.opts 参数值
-Djava.library.path
-Djava.io.tmpdir
log4j的一些参数
org.apache.hadoop.mapred.Child(main class)
VM Environment

一个Job被提交后，会有一个JobInProgress与之对应，JobInProgress会被分割成多个任务（task），并被初始化，这要通过读取一个配置项{job.splitmetainfo}对应的文件得到，而这个job分割元数据文件是在JobClient提交job时，通过writeSplit()计算出来的。

NIXProcess调用系统bash程序，以org.apache.hadoop.mapred.Child为Mainclass来执行。

Child会根据Task的类型执行MapTask和ReduceTask， 并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。