如何理解Spark的数据本地性

一，数据本地性是什么

spark的RDD有5大特性，其中之一是数据偏好属性：preferredLocations ，这是一个集合。

在任务调度的时候，基于Executor和数据的位置信息，按照“移动计算比移动数据便宜”的规则，尝试将RDD对应的计算调度到数据所在的结点，实现计算数据的本地化。

1，举个例子

计算数据偏好位置是从source开始的，以HDFS为例，可以简单的认为一个block就是一个spilt。

如果集群有100个节点，每个block有3个副本，这3个副本会分布在3个节点，hdfs会随机选取一个副本作为RDD的输入split。

考虑到一个大文件有很多个block构成，假设这个文件由100个block构成，则作为source的RDD会有100个split，这100个split的位置就是这个RDD的preferredLocations，100也是这个RDD的并行度。

也即是说，此时有100个task需要分布式执行。最理想的情况是，这100个task都调度到数据所在的节点，task执行节点和split存储节点相同。

但实际情况可能没这么理想，要理解这个问题：

第一，要区分资源调度和任务调度两个概念，资源调度是yarn完成的，yarn根据资源申请情况分配集群资源，此时并不会考虑数据的位置，所以yarn调度的资源可能和数据存储的位置具有很大的差异。

第二，要理解数据并行度和集群并行度，任务有100个并行度，但集群可能不具备100并发的能力，假如集群只有60的并发能力，则有40个任务需要排队等待。60个正在执行的任务的速度有快有慢，待到有空闲资源时，部分等待的任务被调度，但空闲资源可能和数据资源所在的节点不一致。也就是说，数据节点此时正在执行任务，空闲资源上没有要计算的数据，任务要么继续等待，要么将数据移动到空闲资源上。

总结：preferredLocations记录了数据的位置，给任务调度提供依据，但其并不能决定任务如何调度。

2，任务本地性

知道了preferredLocations，尽管有困难，但最理想的情况仍然是在原地对数据进行计算，即尽量避免数据的移动，这就是数据的本地性。

因为计算资源和数据资源的位置不匹配和数据并行度与集群并发度的差异，导致数据本地性不能笼统规定为一种最简单的情况。

实际上，spark的任务本地性分为四种：

Process local < Node local < Rack local < Any

• PROCESS_LOCAL–>最理想的本地性级别，从Executor进程的内存中直接读取数据

• NODE_LOCAL–> 如果无法满足 PROCESS_LOCAL，从节点磁盘读取数据，不需要网络传输，仍然是效率较高的方式

• RACK_LOCAL -->数据节点和executor不在一个节点，但在一个机架，通过局域网传输数据

• Any–>效率最差的数据本地性级别，数据通过网络从数据节点移动到计算节点。

二，为什么要数据本地性

我们已经知道，数据本地性就是在数据所在的节点完成计算，即尽力避免数据通过网络进行传输。

这是因为网络延迟远高于计算延迟。

三，数据本地性在任务执行过程中是如何起作用的

• 第一步：PROCESS_LOCAL

  • TaskScheduler首先尝试将task发送到preferredLocations指向的节点，如果task在Worker1的Executor1中等待了3s（这个3s是spark的默认等待时间，通过spark.locality.wait来设置，可以在SparkConf()中修改），重试了5次，还是无法执行

  • TaskScheduler会降低数据本地化的级别，从PROCESS_LOCAL降到NODE_LOCAL

• 第二步：NODE_LOCAL

  • TaskScheduler重新发送task到Worker1中的Executor2中执行，
    如果task在Worker1的Executor2中等待了3s，重试了5次，还是无法执行

  • TaskScheduler会降低数据本地化的级别，从 NODE_LOCAL降到 RACK_LOCAL

• 第三步： RACK_LOCAL

  • TaskScheduler重新发送task到Worker2中的Executor1中执行，此时数据需要从Worker1移动到Worker2，如果仍然无法执行，则RACK_LOCAL退化到ANY级别。

• 第四步：当task分配完成之后，task会通过所在Worker的Executor中的BlockManager来获取数据，如果BlockManager发现自己没有数据，那么它会调用getRemote()方法，通过ConnectionManager与原task所在节点的BlockManager中的ConnectionManager先建立连接，然后通过 TransferService(网络传输组件) 获取数据，通过网络传输回task所在节点（这时候性能大幅下降，大量的网络IO占用资源）。