1.Job类初始化JobClient实例,JobClient中生成JobTracker的RPC实例,这样可以保持与JobTracker的通讯,JobTracker的地址和端口等都是外部配置的,通过Configuration对象读取并且传入。
2.JobClient提交作业。
3.JobClient生成作业目录。
4.从本地拷贝 MapReduce 的作业jar文件
5.如果DistributedCache中有需要的数据,从DistributedCache中拷贝这部分数据。
6.根据InputFormat实例,实现输入数据的split,在作业目录上生成job.split和job.splitmetainfo文件。
7.将配置文件写入到作业目录的job.xml文件中。
8.JobClient和JobTracker通讯,提交作业。
9.JobTracker将job加入到job队列中。
10.JobTracker的TaskScheduler(任务调度器)对job队列进行调度。
11.TaskTracker通过心跳和JobTracker保持联系,JobTracker收到后根据心跳带来的数据,判断是否可以分配给TaskTracker Task,TaskScheduler会对Task进行分配。
12.TaskTracker启动TaskRunner实例,在TaskRunner中启动单独的JVM进行Mapper运行。
13.Map端会从HDFS中读取输入数据,执行之后Map输出数据先是在内存当中,当达到阀值后,split到硬盘上面,在此过程中如果有combiner的话要进行combiner,当然sort是肯定要进行的。
14.Map结束了,Reduce开始运行,从Map端拷贝数据,称为shuffle阶段,之后执行reduce输出结果数据。
15.当jobtracker收到作业最后一个任务完成通知后,便把作业的状态设置为“完成”。
16.在jobclient查询状态时,便知道任务已经完成,于是从runjob()方法返回。