随记:关于RDD

RDD概述

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,他代表一个不可变,可分区提高并行度,里面的元素可并行计算的集合.RDD具有数据流模型的特点:自动容错(依赖性),位置感知性调度和可伸缩性.RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。

RDD的属性

• 一组分片(Partition),即数据集的基本数据组成单位.对于RDD来说,每个每片都会被一个计算任务处理,并决定并行计算的粒度.用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么将会采用默认值.默认值是程序分配道德CPU Core的数目.
• 一个计算每个分区的函数Spark中的RDD的计算是以分片为单位的,每个RDD都会实现compute函数,以达到这个目的.compute函数会对迭代器进行复合,不需要保存每次计算的结果.
• RDD之间的依赖关系.RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系.在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算 丢失的分区数据,而不是对RDD的所有分区进行重新计算.
• 一个Partitioner,即RDD的分片函数.当前Spark中实现了两种分片函数,一个是基于哈希的HashPartitioner,另一个是基于范围的RangePartitioner.只有对于key-value的RDD,才会有Partitioner,非key-value的RDD的Partitioner的值是None.Partitioner函数不到决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出是的分片数量.
• 一个列表,存储每个Partition的优先位置(preferred location).对于一个HDFS文件来说,这个列表保存的就是每个Partition所在的块的位置.按照"移动数据不如移动计算"的理念,Spark在进行任务调度的时候,会尽可能地将计算任务分配到其索要处理数据块的存储位置.
  总结RDD的特征
• RDD可以看作是一系列partition多组成的
• RDD之间的依赖关系
• 算子是作用在partition之上的
• 分区器是作用在kv形式的RDD上
• partition提供的最佳计算位置,利于数据处理本地化,即计算向数据移动,而不是移动数据

RDD本身是不存储数据,可以看作RDD本身是一个引用数据

RDD弹性

• 自动进行内存和磁盘数据存储的切换
  Spark优先把数据放到内存中,如果内存放不下,就会放到磁盘里面,程序自动的存储切换

• 基于血统的高效容错机制
  在RDD进行转换和动作的时候,会形成RDD的Lineage依赖链,当某一个RDD失效的时候,可以通过重新计算上游的RDD来重新生成丢失的RDD数据

• Task如果失败会自动进行特定次数的重试
  RDD的计算任务如果运行失败,会自动进行任务的重新计算,默认次数4次

• Stage如果失败会自动进行特定次数的重试
  如果Job的某个Stage阶段计算失败,框架也会自动进行任务的重新计算,默认次数4次

• Checkpoint和Persist可主动或被动触发
  RDD可以通过Persist持久化将RDD缓存到内存或者磁盘,当再次用到该RDD时,直接读取就行.也可以将RDD进行检查点,检查点会将数据存储在HDFS中,该RDD的所有父RDD依赖都会背移除

• 数据调度弹性
  Spark把这个Job执行模型抽象为通用的邮箱无环图DAG,可以将多Stage的任务串联或者并行执行,调度引擎自动处理Stage的失败以及Task的失败

• 数据分片的高度弹性
  可以根据业务的特征，动态调整数据分片的个数，提升整体的应用执行效率
  总结
  RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此，RDD支持丰富的转换操作(如map, join, filter, groupBy等)，通过这种转换操作，新的RDD则包含了如何从其他RDDs衍生所必需的信息，所以说RDDs之间是有依赖关系的。基于RDDs之间的依赖，RDDs会形成一个有向无环图DAG，该DAG描述了整个流式计算的流程，实际执行的时候，RDD是通过血缘关系(Lineage)一气呵成的，即使出现数据分区丢失，也可以通过血缘关系重建分区，总结起来，基于RDD的流式计算任务可描述为：从稳定的物理存储(如分布式文件系统)中加载记录，记录被传入由一组确定性操作构成的DAG，然后写回稳定存储。另外RDD还可以将数据集缓存到内存中，使得在多个操作之间可以重用数据集，基于这个特点可以很方便地构建迭代型应用(图计算、机器学习等)或者交互式数据分析应用。可以说Spark最初也就是实现RDD的一个分布式系统，后面通过不断发展壮大成为现在较为完善的大数据生态系统，简单来讲，Spark-RDD的关系类似于Hadoop-MapReduce关系

• 存储的弹性：内存与磁盘的

• 自动切换容错的弹性：数据丢失可以

• 自动恢复计算的弹性：计算出错重试机制

• 分片的弹性：根据需要重新分片

RDD编程API

RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作，比如 map()和 filter()，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。比如 count() 和 first()。

Spark采用惰性计算模式，RDD只有第一次在一个行动操作中用到时，才会真正计算。Spark可以优化整个计算过程。默认情况下，Spark 的 RDD 会在你每次对它们进行行动操作时重新计算。如果想在多个行动操作中重用同一个 RDD，可以使用 RDD.persist() 让 Spark 把这个 RDD 缓存下来。
Transformation算子

RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效率地运行。

转换	含义
map(func)	返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
filter(func)	返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成
flatMap(func)	类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）
mapPartitions(func)	类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]
mapPartitionsWithIndex(func)	类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Iterator[T]) => Iterator[U]
sample(withReplacement, fraction, seed)	根据fraction指定的比例对数据进行采样，可以选择是否使用随机数进行替换，seed用于指定随机数生成器种子
union(otherDataset)	对源RDD和参数RDD求并集后返回一个新的RDD
intersection(otherDataset)	对源RDD和参数RDD求交集后返回一个新的RDD
distinct([numTasks]))	对源RDD进行去重后返回一个新的RDD
groupByKey([numTasks])	在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD
reduceByKey(func, [numTasks])	在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，与groupByKey类似，reduce任务的个数可以通过第二个可选的参数来设置
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])	相同的Key值进行聚合操作，在聚合过程中同样使用了一个中立的初始值zeroValue:中立值,定义返回value的类型，并参与运算seqOp:用来在同一个partition中合并值combOp:用来在不同partiton中合并值
sortByKey([ascending], [numTasks])	在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD
sortBy(func,[ascending], [numTasks])	与sortByKey类似，但是更灵活
join(otherDataset, [numTasks])	在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD
cogroup(otherDataset, [numTasks])	在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable,Iterable))类型的RDD
cartesian(otherDataset)	笛卡尔积
pipe(command, [envVars])	将一些shell命令用于Spark中生成新的RDD
coalesce(numPartitions**)**	重新分区
repartition(numPartitions)	重新分区
repartitionAndSortWithinPartitions(partitioner)	重新分区和排序

Action算子

在RDD上运行计算,并返回结果给Driver或写入文件系统

动作	含义
reduce(func)	通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的
collect()	在驱动程序中，以数组的形式返回数据集的所有元素
count()	返回RDD的元素个数
first()	返回RDD的第一个元素（类似于take(1)）
take(n)	返回一个由数据集的前n个元素组成的数组
takeSample(withReplacement,num, [seed])	返回一个数组，该数组由从数据集中随机采样的num个元素组成，可以选择是否用随机数替换不足的部分，seed用于指定随机数生成器种子
takeOrdered(n, [ordering])	takeOrdered和top类似，只不过以和top相反的顺序返回元素
saveAsTextFile(path)	将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
saveAsSequenceFile(path)	将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。
saveAsObjectFile(path)
countByKey()	针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。
foreach(func)	在数据集的每一个元素上，运行函数func进行更新。