Spark RDD计算机制剖析

通用的分布式计算框架，为了降低学习和使用门槛，便于用户直观理解，一般会尽量简化上层API抽象（姑且定义为逻辑层），RDD之于Spark就是最核心的逻辑层抽象。然而，当你深入框架内部Runtime实现（对应来说就是物理层），通常会进入另一个世界，透过现象看本质，豁然开朗。对Spark RDD来说莫不如此，下面让我们来看看它在物理层的另一面。

首先，我们来回顾下RDD在逻辑层的表象，无非这几点，了解Spark的人都很清楚：

• RDD字面理解Resilient Distributed Dataset，指的是利用分布式内存资源来存储的数据集
• RDD是immutable的，每一次transform都会生成新的RDD
• 一个job的所有RDD，会根据是否需要做shuffle，被划分到不同的stage
• RDD计算是lazy方式，只有action才会触发job产生，transform只会记录元数据与依赖关系
• 如果一个RDD计算出错，会根据依赖关系从上游RDD经过重新计算来自动恢复
  

然而，如果你仔细思考下逻辑层视角的理解，很容易会发出以下两点疑问：

• 既然每次transform都需要生成新的RDD，那么一个job中很可能会产生大量的RDD。而如果每个RDD都需要占有内存资源，是不是很快就会吃掉所有内存