spark任务执行流程及数据本地化介绍

1. PROCESS_LOCAL：进程本地化；
   表示 task 要计算的数据在同一个 Executor 中；
   如图：
   

2. NODE_LOCAL：节点本地化；
   速度稍慢，因为数据需要在不同的进程之间传递或从文件中读取。
   分为两种情况，
   第一种：task 要计算的数据是在同一个 worker 的不同 Executor 进程中。
   第二种：task 要计算的数据是在同一个 worker 的磁盘上，或在 HDFS 上恰好有 block 在同一个节点上。如果 Spark 要计算的数据来源于 HDFS 上，那么最好的本地化级别就是 NODE_LOCAL。
   如图：
   

3. NO_PREF: 没有最佳位置，数据从哪访问都一样快，不需要位置优先。比如 Spark SQL 从 Mysql 中读取数据。

4. RACK_LOCAL: 机架本地化，数据在同一机架的不同节点上。需要通过网络传输数据以及文件 IO，比 NODE_LOCAL 慢。
   情况一：task 计算的数据在 worker2 的 EXecutor 中。
   情况二：task 计算的数据在 work2 的磁盘上。
   如图：