Spark项目实战-实际项目中常见的优化点-设置本地化等待时间

一、什么是数据本地化

Spark在Driver上，对Application的每一个stage的task进行分配之前，都会计算出每个task要计算的是哪个分片数据。Spark的task分配算法优先会希望每个task正好分配到它要计算的数据所在的节点，这样的话就不用在网络间传输数据。

但是通常来说，有时事与愿违，可能task没有机会分配到它的数据所在的节点，可能那个节点的计算资源和计算能力都满了。所以这种时候，Spark会等待一段时间，默认情况下是3s钟（不是绝对的，还有很多种情况，对不同的本地化级别，都会去等待），到最后实在是等待不了了，就会选择一个比较差的本地化级别，比如说将task分配到靠它要计算的数据所在节点，比较近的一个节点，然后进行计算。

针对第二种情况，通常来说肯定是要发生数据传输，task会通过其所在节点的BlockManager来获取数据，BlockManager发现自己本地没有数据，会通过一个getRemote()方法，通过TransferService（网络数据传输组件）从数据所在节点的BlockManager中获取数据，通过网络传输回task所在节点。

对于我们来说，当然不希望是类似于第二种情况的了。最好的，当然是task和数据在一个节点上，直接从本地executor的BlockManager中获取数据，纯内存或者带一点磁盘IO。如果要通过网络传输数据的话，那么性能肯定会下降的，大量网络传输以及磁盘IO都是性能的杀手。

二、本地化的几个标识

观察spark作业的运行日志，推荐大家在测试的时候，先用client模式，在本地就直接可以看到比较全的日志。日志里面会显示，starting task……PROCESS LOCAL、NODE LOCAL 观察大部分task的数据本地化级别。

（1）PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中。计算数据的task由executor执行，数据在executor的BlockManager中，性能最好。

（2）NODE_LOCAL：节点本地化，代码和数据在同一个节点中。比如说数据作为一个HDFS block块，就在节点上而task在节点上某个executor中运行。或者是数据和task在一个节点上的不同executor中，数据需要在进程间进行传输。

（3）NO_PREF：对于task来说，数据从哪里获取都一样，没有好坏之分。

（4）RACK_LOCAL：机架本地化，数据和task在一个机架的两个节点上。数据需要通过网络在节点之间进行传输 ANY：数据和task可能在集群中的任何地方，而且不在一个机架中，性能最差。

三、怎么调节

new SparkConf()
  .set("spark.locality.wait", "10");