spark源码分析之任务本地化

Spark也有数据本地化的概念（Data Locality），这和MapReduce的Local Task差不多，如果读取HDFS文件，Spark则会根据数据的存储位置，分配离数据存储最近的Executor去执行任务。

这么理解没错，我搭建的Spark集群情况是这样：

每台DataNode节点的HDFS集群，我在每个DataNode上都部署了一个Spark Worker，并且，启动Spark Application的时候，每个Worker都有一个Executor，这样理论上来说，只要读取HDFS文件，Spark都可以使用本地任务来读取(NODE_LOCAL)。

其中任务本地化后再器spark 提交任务界面存在。

通过分析源码 ：spark 再sparkcontext 阶段已经再对应的wokers 上启动了excuter (里面指定了具体的内存和cpu ) 但通过源码分析都没有根据数据的具体位置去选择性的启动excutor

具体代码为
spark 1.3.1

spark 1.6.1 的excutor 资源分配为：

没有找到具体的执行代码

推测 为： 两种任务shuffleTask 和 resultTask 出现新的日志任务调度 （源码查看）