1. 什么是RDD
RDD(Reilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可并行计算的集合.
RDD具有数据流模型的特点:自动容错,位置感知性调度和可伸缩性.
RDD允许用户在执行多个查询时显示地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度.
- Dataset:一个数据集合,用于存放数据的
- Distributed:RDD中的数据是分布式存储的,可用于分布式计算.
- Resilient:RDD中的数据可以存放在内存中或者磁盘中.
2. RDD的属性
1. A list of partitons: 一份分区(Partition)列表,数据集的基本组成单位.
- 对于RDD来说,每个分区都会被一个计算任务处理,并决定并行计算的粒度.用户可以在创建RDD时指定RDD的分区个数,
- 如果没有指定,那么就会采用默认值(比如:读取hdfs上的数据文件产生的RDD分区数跟block的个数相等)
2. A function for computing each split: 一个计算每个分区的函数
- Spark中RDD的计算是以分区为单位的,每个RDD都会实现compute函数以达到这个目的.
3. A list of dependencies on other RDDs: 一个RDD会依赖于其他多个RDD,RDD之间有依赖关系.
- RDD的每次转换都会生成一个新的RDD,所以RDD之间就 会形成类似于流水线一样的前后依赖关系.
- 在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算.
4. Optionally, a Paritioner for key-value RDDs(e.g to say that the RDD is hash-paritioned):一个Paritioner,即RDD的分区函数(可选项)
- 当前Spark中实现了两种类型的分区函数:一个是基于哈希的HashParitioner,另外一个是基于范围的RangParitioner.
- 只有对于key-value的RDD,才会有Paritioner;
- 非key-value的RDD的Paritioner的值是None. Paritioner函数决定了partent RDD Shuffle输出时的分区数量.
5. Optionally, a list of preferred locations to compute each split on(e.g block locations for an HDFS file):一个列表,存储每个Parition的优先位置(可选项)
- 对于HDFS文件来说,这个列表保存的就是每个Parition所在块的位置.
- 按照"移动数据不如移动计算"的理念,Spark在运行任务调度的时候,会尽可能地将计算任务分配到其他要处理数据块的存储位置(Spark进行任务)
3. 为什么会产生RDD
- 传统的MapReduce虽然具有自动容错,平衡负载和可扩展性的优点,但是期最大的缺点是采用非循环式的数据流模型,使得在迭代计算中要进行大量的磁盘IO操作.RDD正是解决这一缺点的抽象方法.
- RDD是Spark提供的最重要的抽象的概念,它是一种具有容错机制的特殊集合,可以分布在集群的节点上,以函数式编程来操作集合,进行各种并行操作.
- 可以把RDD的结果数据进行缓存,方便进行多次重用,避免重复计算.
4. RDD在Spark中的地位及作用
- 为什么会有Spark?
因为传统的并行计算模型无法有效的解决迭代计算(iterative)和交互式计算(interactive);而Spark解决了如上两个并行计算问题. - Spark如何解决迭代计算?
其主要实现思想就是RDD,把所有计算的数据保存在分布式内存中.迭代计算通常情况下都是对同一个数据集做反复的迭代计算.数据在内存中将大大提升IO操作.这也是Spark涉及的核心:内存计算 - Spark如何实现交互式计算?
因为Spark是用Scala语言实现的,Spark和Scala能够紧密的集成.所以Spark可以完美的运用Scala的解释器,使得其中的Scala可以向操作本地集合对象一样轻松操作分布式数据集. - Spark和RDD的关系?
RDD是一种具有容错性,基于内存计算的抽象方法**,RDD是Spark Core的底层核心,Spark则是这个抽象方法的实现.**