RDD的两种操作算子

RDD支持两种类型的操作算子:Transformation(转换)与Action(行动)。

1、Transformation(变换)

Transformation操作会由一个RDD生成一个新的 RDD。Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到Actions操作时，才真正开始运算。

例如，根据谓词匹配情况筛选数据就是一个常见的转化操作。

>>> testlines = lines.filter(line=>line.contains("spark"))

在transformations算子中再将数据类型细分为value数据类型和key-value对数据类型的transformations算子。

1）Value型数据的算子封装在RDD类中可以直接使用。

2）Key-value对数据类型的算子封装于PairRDDFunctions类中，用户需要引入import org.apache.spark.SparkContext._才能够使用。

2、Action(行动)

Action操作会对 RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如 HDFS）中。

例如，first() 就是我们之前调用的一个行动操作，它会返回 RDD 的第一个元素。

>>> result = testlines.first()

transformations操作和Action操作的区别在于Spark计算RDD 的方式不同。对于在任何时候得到的新的RDD，Spark只会惰性计算。只有在一个行动操作中用到时，才会真正计算。这种策略也是spark性能高的部分原因。

比如，我们读取一个文本文件创建一个RDD，然后把其中包含spark的行筛选出来。如果Spark在我们运行lines = sc.textFile(test.txt) 时就把文件中所有的行都读取到内存中并存储起来，内存开销会很大，而我们接下来的操作会筛选掉其中的很多数据。相反， 如果Spark 在知道了完整的转化操作链之后，它就可以只计算求结果时真正需要的数据。

事实上，在执行行动操作 first()时，Spark也只是扫描文件直到找到第一个匹配的行为止，而不是读取整个文件。