PySpark大数据分析(2)：RDD操作

RDD基础

在Spark中，数据以弹性分布式数据集(Resilient Distributed Dataset)的形式存在。对RDD的操作主要分为转化操作和行动操作两种。Spark可以将RDD中的数据分发到集群上，以此并行化执行相关的操作。

最直接的创建方式就是通过SprakContext的parallelize()方法，将一个已有集合变为RDD：

>>> lines = sc.parallelize(['word1', 'word2', 'word3'])

当我们读取一个外部数据的时候，它在Spark中就是以RDD的形式存在的。比如我们读取一个Iris数据集：

>>> iris = spark.read.csv('/Users/data/iris.csv', header=True)
>>> iris.show(5)
+------------+-----------+------------+-----------+-----------+
|Sepal Length|Sepal Width|Petal Length|Petal Width|      Label|
+------------+-----------+------------+-----------+-----------+
|         5.1|        3.5|         1.4|        0.2|Iris-setosa|
|         4.9|        3.0|         1.4|        0.2|Iris-setosa|
|         4.7|        3.2|         1.3|        0.2|Iris-setosa|
|         4.6|        3.1|         1.5|        0.2|Iris-setosa|
|         5.0|        3.6|         1.4|        0.2|Iris-setosa|
+------------+-----------+------------+-----------+-----------+
only showing top 5 rows

此时的iris就是一个RDD。接下来分别对这个RDD进行转化操作以及求值操作。

RDD操作

RDD的转化操作会返回一个新的RDD，比如之前用来进行条件过滤的filter()。行动操作指的是操作结果需要返回给驱动器或者写入外部系统，比如count()。一般返回值为RDD的操作都是转化操作，返回值是其他类型的操作是行动操作。

转化操作

RDD一旦创建就无法修改。因此转化操作并不会影响到原本的RDD，它只会产生一个新的RDD。因此需要一个的变量去接收这个RDD，或者直接将结果覆盖到原始RDD上。比如修改iris的列名，调用withColumnRenamed()修改列名之后，需要将结果覆盖到iris上。如果我们想筛选出Label为“Iris-setosa”，同时花萼宽度为3.1的数据，我们需要一个新的变量来接收filter()针对两个条件进行过滤的结果：

>>> iris = iris.withColumnRenamed('Sepal Width', 'Sepal_Width')
>>> setosa = iris.filter((iris.Label == 'Iris-setosa') & (iris.Sepal_Width == 3.1))
>>> setosa.show(5)
+------------+-----------+------------+-----------+-----------+
|Sepal Length|Sepal_Width|Petal Length|Petal Width|      Label|
+------------+-----------+------------+-----------+-----------+
|         4.6|        3.1|         1.5|        0.2|Iris-setosa|
|         4.9|        3.1|         1.5|        0.1|Iris-setosa|
|         4.8|        3.1|         1.6|        0.2|Iris-setosa|
|         4.9|        3.1|         1.5|        0.1|Iris-setosa|
|         4.9|        3.1|         1.5|        0.1|Iris-setosa|
+------------+-----------+------------+-----------+-----------+

转化操作可以一次对多个RDD进行操作，比如使用union()对两个RDD取交集：

>>> versicolor = iris.filter(iris.Label == 'Iris-versicolor')
>>> virginica = iris.filter(iris.Label == 'Iris-virginica')
>>> vers_and_virg = versicolor.union(virginica)

转化操作会基于已有RDD生成新的RDD，Spark会使用血缘图(lineage graph)记录这个过程中的依赖关系。血缘图可以用于优化Spark的工作流程，同时也可以在持久化的RDD丢失部分数据时进行恢复。

之所以要区分转化操作和行动操作，很重要的一个原因是Spark对RDD的转化操作都是惰性求值的。比如上面的操作中，只有在show()运行时，Spark才会执行之前基于iris的所有转化操作。如果用户有多个转化操作，Spark会将这些操作的相关信息都记录下来，在需要执行的时候一起执行。因此，惰性求值可以将一些操作进行合并，从而减少计算数据的步骤。从这个角度来看，RDD其实更应该被看作一种数据的“转化操作计划”，而不是一个数据集。

行动操作

行动操作会将最终的结果返回给驱动器，或者写入外部的存储系统。因此行动操作会在计算时，运行它所依赖的所有转化操作。

比如对之前通过转化操作生成的RDD进行行数统计：

>>> vers_and_virg.count()
100

每一次的行动操作都会重新计算RDD，因此最好将需要复用的中间结果持久化。

上一篇：PySpark大数据分析(1)：Spark的安装与文件读取
下一篇：PySpark大数据分析(3)：使用Python操作RDD