MR切片源码分析笔记

这里用的WordCount案例

运行debug模式，F5进入waitForComplent()方法

可以看到它调用了submit（）方法，进入这个方法

可以看到又有四个方法
1.ensureState（）：查看当前任务运行状态的方法
2.setUseNewAPI（）：设置一个新建的API
3.进入connect（）：这是一个客户端获得服务器链接并返回的方法**********

进入Cluster（getConfiguration()）

进入到初始化函数initialize中
进入第一个provider.create(),是以本机方式提交

进入第二个provider.create()，是以集群yarn方式提交

我们回到submit方法

进入submitJobInternal(Job.this, cluster)中

进入writeSplits

进入writeNewSplits

进入getSplits：实现如何切片

返回到submitJobInternal()中

返回到submit()任务提交完成
返回到waitForCompletion()，执行任务

完成任务！~

PS：如果觉着我这个乱的话推荐看流程图