spark UI中Locality Level的 NODE_LOCAL和PROCESS_LOCAL区别

 

在Spark中，Locality Level是指任务所在的节点与数据所在的节点之间的距离。其中，Locality Level可以分为以下四种：

1. PROCESS_LOCAL：任务与数据位于同一进程中。这是最佳的Locality Level，因为数据可以直接从内存中获取，而不需要进行网络传输。
2. NODE_LOCAL：任务与数据位于同一节点上，但不在同一进程中。这种Locality Level下，数据需要通过网络传输到任务所在的进程中。
3. RACK_LOCAL：任务与数据位于同一机架上，但不在同一节点或进程中。这种Locality Level下，数据需要通过网络传输到任务所在节点的其他进程中，然后再传输到任务所在的进程中。
4. ANY：任务与数据不在同一机架上，需要通过网络传输获取数据。 其中，NODE_LOCAL和PROCESS_LOCAL的区别在于，PROCESS_LOCAL是最佳的Locality Level，因为任务和数据在同一进程中，数据可以直接从内存中获取，而不需要进行网络传输。而NODE_LOCAL虽然也是任务和数据在同一节点上，但是如果任务和数据不在同一进程中，数据需要通过网络传输到任务所在的进程中，因此比PROCESS_LOCAL慢一些。