弹性分布式数据集RDD, RDD的属性, 为什么会产生RDD, Spark如何解决迭代计算, Spark如何实现交互式计算 07

1. 什么是RDD

RDD(Reilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可并行计算的集合.
RDD具有数据流模型的特点:自动容错,位置感知性调度和可伸缩性.
RDD允许用户在执行多个查询时显示地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度.

• Dataset:一个数据集合,用于存放数据的
• Distributed:RDD中的数据是分布式存储的,可用于分布式计算.
• Resilient:RDD中的数据可以存放在内存中或者磁盘中.

2. RDD的属性

1. A list of partitons: 一份分区(Partition)列表,数据集的基本组成单位.

• 对于RDD来说,每个分区都会被一个计算任务处理,并决定并行计算的粒度.用户可以在创建RDD时指定RDD的分区个数,
• 如果没有指定,那么就会采用默认值(比如:读取hdfs上的数据文件产生的RDD分区数跟block的个数相等)

2. A function for computing each split: 一个计算每个分区的函数

• Spark中RDD的计算是以分区为单位的,每个RDD都会实现compute函数以达到这个目的.

3. A list of dependencies on other RDDs: 一个RDD会依赖于其他多个RDD,RDD之间有依赖关系.

• RDD的每次转换都会生成一个新的RDD,所以RDD之间就 会形成类似于流水线一样的前后依赖关系.
• 在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算.

4. Optionally, a Paritioner for key-value RDDs(e.g to say that the RDD is hash-paritioned):一个Paritioner,即RDD的分区函数(可选项)

• 当前Spark中实现了两种类型的分区函数:一个是基于哈希的HashParitioner,另外一个是基于范围的RangParitioner.
• 只有对于key-value的RDD,才会有Paritioner;
• 非key-value的RDD的Paritioner的值是None. Paritioner函数决定了partent RDD Shuffle输出时的分区数量.

5. Optionally, a list of preferred locations to compute each split on(e.g block locations for an HDFS file):一个列表,存储每个Parition的优先位置(可选项)

• 对于HDFS文件来说,这个列表保存的就是每个Parition所在块的位置.
• 按照"移动数据不如移动计算"的理念,Spark在运行任务调度的时候,会尽可能地将计算任务分配到其他要处理数据块的存储位置(Spark进行任务)

3. 为什么会产生RDD

1. 传统的MapReduce虽然具有自动容错,平衡负载和可扩展性的优点,但是期最大的缺点是采用非循环式的数据流模型,使得在迭代计算中要进行大量的磁盘IO操作.RDD正是解决这一缺点的抽象方法.
2. RDD是Spark提供的最重要的抽象的概念,它是一种具有容错机制的特殊集合,可以分布在集群的节点上,以函数式编程来操作集合,进行各种并行操作.
3. 可以把RDD的结果数据进行缓存,方便进行多次重用,避免重复计算.

4. RDD在Spark中的地位及作用

1. 为什么会有Spark?
   因为传统的并行计算模型无法有效的解决迭代计算(iterative)和交互式计算(interactive);而Spark解决了如上两个并行计算问题.
2. Spark如何解决迭代计算?
   其主要实现思想就是RDD,把所有计算的数据保存在分布式内存中.迭代计算通常情况下都是对同一个数据集做反复的迭代计算.数据在内存中将大大提升IO操作.这也是Spark涉及的核心:内存计算
3. Spark如何实现交互式计算?
   因为Spark是用Scala语言实现的,Spark和Scala能够紧密的集成.所以Spark可以完美的运用Scala的解释器,使得其中的Scala可以向操作本地集合对象一样轻松操作分布式数据集.
4. Spark和RDD的关系?
   RDD是一种具有容错性,基于内存计算的抽象方法**,RDD是Spark Core的底层核心,Spark则是这个抽象方法的实现.**