Spark源码阅读笔记：Spark的Task

    前文稍微分析了一下standalone模式中几个集群核心角色的代码，这将是后面分析下去的基础。本文是前文的进一步补充。

TASK的产生

    因为笔者习惯带着目的跟着线索走，所以对于shuffle过程实际上是在不同的task之间传递数据的过程，要找到相关的代码和流程，我们就先把着眼点定在task这端，先分析一下Spark中的task，再来看shuffle。

    前文有提过，最终在executor中执行任务实际上是executor反序列化收到的task以及相关的file、jar文件，然后调用task的runTask方法来执行任务。在Spark中，抽象类Task有两个子类实现分别是ResultTask和ShuffleMapTask。ResultTask会将计算结果返回到driver application，而ShuffleMapTask是把RDD中的元素依照ShuffleDependency中的定义发送到多个bucket中。

    其实在前面分析DAGScheduler时也提到过，创建task是job提交过程中，在DAGScheduler中做的诸多事情中的一项，在DAGScheduler中，创建Task的代码：

    val tasks: Seq[Task[_]] = if (stage.isShuffleMap) {
      partitionsToCompute.map { id =>
        val locs = getPreferredLocs(stage.rdd, id)
        val part = stage.rdd.partitions(id)
        new ShuffleMapTa