Spark编程基础(Python版)之RDD

        在mapreduce框架执行时，会将中间结果写入到稳定存储（磁盘）中，会造成大量的数据复制、磁盘io、序列化开销。RDD提供一个抽象的数据构架，需要将具体的应用逻辑表达为一系列转换处理。

        不同的RDD之间的转换形成依赖关系，可以实现管道化，避免中间数据存储。

  一、什么是RDD

        分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，可以在不同节点上进行并行计算。

二、RDD高度受限的共享内模型

        只读的记录分区集合，不能直接修改，只能基于稳定的物理存储中的数据集创建RDD，或者通过其他RDD执行确定转换的操作形成新的RDD.

三、数据运算

        action（动作）、transformation（转换）

四、优缺点

        1、高效的容错性

        2、中间结果持久化到内存，数据在内存中的多个RDD操作之间进行传递，避免不必要的读写磁盘开销

        3、存放的数据可以是Java对象，避免不必要对象序列化和反序列化。

五、shuffle

        是否包含shuffle操作区分窄依赖和宽依赖的根据

        1、窄依赖表现为一个父RDD的分区对应于一个子RDD的分区或多个父RDD的分区对应于一个子RDD的分区

        2、宽依赖则表现为存在一个父RDD的一个分区对应一个子RDD的多个分区

        窄依赖可以实现“流水线”优化

         宽依赖包含Shuffle过程，无法实现“流水线”优化：

      每个RDD 操作都是一个fork/join（一种用于并行执行任务的框架），把计算fork 到每个RDD 分区，完成计算后对各个分区得到的结果进行join 操作，然后fork/join下一个RDD 操作