Spark核心RDD详解(设计与运行原理,分区,创建,转换,行动与持久化)

RDD设计背景与概念


在实际应用中,存在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘工具,这些应用场景的共同之处是,不同计算阶段之间会重用中间结果,即一个阶段的输出结果会作为下一个阶段的输入。但是,目前的MapReduce框架都是把中间结果写入到HDFS中,带来了大量的数据复制、磁盘IO和序列化开销。虽然,类似Pregel等图计算框架也是将结果保存在内存当中,但是,这些框架只能支持一些特定的计算模式,并没有提供一种通用的数据抽象。RDD就是为了满足这种需求而出现的,它提供了一个抽象的数据架构,我们不必担心底层数据的分布式特性,只需将具体的应用逻辑表达为一系列转换处理,不同RDD之间的转换操作形成依赖关系,可以实现管道化,从而避免了中间结果的存储,大大降低了数据复制、磁盘IO和序列化开销。


一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合,每个RDD可以分成多个分区,每个分区就是一个数据集片段,并且一个RDD的不同分区可以被保存到集群中不同的节点上,从而可以在集群中的不同节点上进行并行计算。RDD提供了一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,不能直接修改,只能基于稳定的物理存储中的数据集来创建RDD,或者通过在其他RDD上执行确定的转换操作(如map、join和groupBy)而创建得到新的RDD。RDD提供了一组丰富的操作以支持常见的数据运算,分为“行动”(Action)和“转换”(Transformation)两种类型,前者用于执行计算并指定输出的形式,后者指定RDD之间的相互依赖关系。两类操作的主要区别是,转换操作(比如map、filter、groupBy、join等)接受RDD并返回RDD,而行动操作(比如count、collect等)接受RDD但是返回非RDD(即输出一个值或结果)。RDD提供的转换接口都非常简单,都是类似map、filter、groupBy、join等粗粒度的数据转换操作,而不是针对某个数据项的细粒度修改。因此,RDD比较适合对于数据集中元素执行相同操作的批处理式应用,而不适合用于需要异步、细粒度状态的应用,比如Web应用系统、增量式的网页爬虫等。正因为这样,这种粗粒度转换接口设计,会使人直觉上认为RDD的功能很受限、不够强大。但是,实际上RDD已经被实践证明可以很好地应用于许多并行计算应用中,可以具备很多现有计算框架(比如MapReduce、SQL、Pregel等)的表达能力,并且可以应用于这些框架处理不了的交互式数据挖掘应用。

资料来源。1


RDD处理流程

Spark用Scala语言实现了RDD的API,程序员可以通过调用API实现对RDD的各种操作。RDD典型的执行过程如下:

  1. RDD读入外部数据源(或者内存中的集合)进行创建;
  2. RDD经过一系列的“转换”操作,每一次都会产生不同的RDD,供给下一个“转换”使用;
  3. 最后一个RDD经“行动”操作进行处理,并输出到外部数据源(或者变成Scala集合或标量)。
    需要说明的是,RDD采用了惰性调用,即在RDD的执行过程中(如图9-8所示),真正的计算发生在RDD的“行动”操作,对于“行动”之前的所有“转换”操作,Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹,即相互之间的依赖关系,而不会触发真正的计算。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

如图1,创建了word.txt文件,内容如上;图二加载文件,视频统计逻辑;图三打印生成RDD内容;图五显示了每一个生成的对象都为一个RDD。

可以看出,一个Spark应用程序,基本是基于RDD的一系列计算操作。RDD之间依次延用,相互依赖。最后行动操作将RDD进行持久化,把它保存在内存或磁盘中。(内存为scala程序的沿用)。

总结:

Spark的核心是建立在统一的抽象RDD之上,使得Spark的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务。

用于计算一个RDD集合的执行过程如下:

  1. 创建这个Spark程序的执行上下文,即创建SparkContext对象;(scala种操作spark的上下文连接)。
  2. 从外部数据源中读取数据通过SparkContext创建RDD对象;
  3. RDD的转换(构建RDD之间的依赖关系,形成DAG图,这时候并没有发生真正的计算,只是记录转换的轨迹;)
  4. 行动类型的操作,触发真正的计算,并把结果持久化到内存中。

RDD分区

分区的概念
分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。

分区优势
RDD 是一种分布式的数据集,数据源多种多样,而且数据量也很大,在存储这些海量数据时,也是按照块来存的,当RDD读取这些数据进行操作时,实际上是对每个分区中的数据进行操作,每一个分区的数据可以并行操作,分区可以提高并行度。

RDD的分区原理

【spark】RDD的分区

RDD特性

  1. 数据集的基本组成单位是一组分片(Partition)或一个分区(Partition)列表。每个分片都会被一个计算任务处理,分片数决定并行度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值(默认值2)。

  2. 一个函数会被作用在每一个分区。Spark中RDD的计算是以分区为单位的,函数会被作用到每个分区上。

  3. 一个RDD会依赖于其他多个RDD。RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。(Spark的容错机制)

  4. K-V类型的RDD会有一个Partitioner函数。非key-value的RDD的Parititioner的值是None,Partitioner函数决定了RDD本身的分区数量,也决定了parent RDD Shuffle输出时的分区数量。

  5. 每个RDD维护一个列表,每个Partition的位置(preferred location)存储在一个列表中。

RDD转换(transformation)和行动(action)

RDD的操作分为两大类:转换(transformation)和行动(action)

转换:通过操作将一个RDD转换成另一个RDD

行动:将一个RDD进行求值或者输出

所有这些操作主要针对两种类型的RDD:

1)数值RDD(value型)

2)键值对RDD   (K-V型)

RDD的所有转换操作都是懒执行的,只有当行动操作出现的时候Spark才会去真的执行

在这里插入图片描述

转换(Transformation)算子就是对RDD进行操作的接口函数,其作用是将一个或多个RDD变换成新的RDD。使用Spark进行数据计算,在利用创建算子生成RDD后,数据处理的算法设计和程序编写的最关键部分,就是利用变换算子对原始数据产生的RDD进行一步一步的变换,最终得到期望的计算结果。

动作(actions)是触发调度的算子,它会返回一个结果或者将数据写到外存中。

RDD API

创建RDD
  1. 由外部存储系统的数据集创建
//本地加载数据创建RDD

val baseRdd = sc.textFile("file:///wordcount/input/words.txt")

//加载hdfs文件
val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/word.txt")

  1. 通过已有的RDD经过算子转换生成新的RDD

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  1. 已经存在的Scala集合创建
  • 方法1 : sc.parallelize(Array(1,2,3,4,5,6,7,8))

  • 方法2 : sc.makeRDD(List(1,2,3,4,5,6,7,8))

makeRDD方法底层调用了parallelize方法,调用parallelize()方法的时候,不指定分区数的时候,使用系统给出的分区数,而调用makeRDD()方法的时候,会为每个集合对象创建最佳分区

在这里插入图片描述
在这里插入图片描述

  1. 通过消息队列(例如kafka,rabbitMQ)创建RDD

主要用于流式处理应用(小编还没学过哈)。

RDD转换

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
图片来源2

RDD行动

在这里插入图片描述

其他参考资料:
Spark之RDD算子-转换算子

spark和RDD的知识梳理与总结

RDD操作详解(三)Action操作

Spark之RDD动作算子(Action)大全

RDD持久化

RDD数据持久化什么作用?

1、对多次使用的rdd进行缓存,缓存到内存,当后续频繁使用时直接在内存中读取缓存的数据,不需要重新计算。

2、将RDD结果写入硬盘(容错机制),当RDD丢失数据时,或依赖的RDD丢失数据时,可以使用持久化到硬盘的数据恢复。

对于RDD最后的归宿除了返回为集合标量,也可以将RDD存储到外部文件系统或数据库中。Spark与Hadoop是完全兼容的,所以对于MapReduce所支持的读写文件或者数据库类型,Spark也同样支持。

写入HDFS

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

写入缓存

RDD通过cache()或者persist()将前面的计算结果缓存,默认情况下会把数据缓存在JVM的堆内存中。cache() 不需要传参,persist()需要设置持久化级别。

持久化级别有(先列在这,后面会详细讲):

  • MEMORY_ONLY
  • MEMORY_AND_DISK
  • MEMORY_ONLY_SER
  • MEMORY_AND_DISK_SER;
  • DISK_ONLY
  • MEMORY_ONLY_2
  • MEMORY_AND_DISK_2

cache()底层就是调用了persist(),并且将持久化级别设置成MEMORY_ONLY,也就是说 cache() 和 persist(StorageLevel.MEMORY_ONLY) 是一样的。

可以使用unpersist()方法手动地把持久化的RDD从缓存中移除。

写入HDFS(Spark自己方法)

将数据写入HDFS,利用HDFS永久存储。

操作过程:

  • 设置持久化的存储路径

  • 调用checkpoint()进行数据的保存SparkContext.setCheckpointDir("HDFS的目录")

  • 调用持久化方法RDD.checkpoint()

写入本地目录

wordCount1.saveAsTextFile("file:///home/master/hadoop/files/...")

在这里插入图片描述

在这里插入图片描述

总结:

  1. Persist 和 Cache将数据保存在内存

  2. Checkpoint将数据保存在HDFS

  3. Persist 和 Cache 程序结束后会被清除或手动调用unpersist方法。

  4. Checkpoint永久存储不会被删除。

相关参考:spark和RDD的知识梳理与总结


  1. 资料来源于厦门大学林子雨教授——Spark入门:RDD的设计与运行原理 ↩︎

  2. Spark的RDD操作:转换(transformation)和行动(action) ↩︎

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xvwen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值