Spark RDD笔记

从这里学习的,讲的真好~ https://www.bilibili.com/video/av62992342/?p=41

JAVA IO : 装饰者设计模式

IO.png

Spark的RDD也是类似的

RDD.png

RDD是将数据处理的逻辑进行了封装。
JAVA读数据并不是直接读文件,而是在readLine的时候去读。
Spark是在Collect被触发的时候去读数据,所以需要execute驱动。

什么是RDD

RDD(Resilient Distributed Dataset)弹性分布式数据集,是Spark中最基本的数据计算抽象。代码中是一个抽象类,代表一个不可变、可分区、里面的元素可并行计算的集合。

属性

一组分区(Partition),即数据集的基本组成单位
一个计算每个分区的函数
RDD之间的依赖关系
一个Partitioner,RDD的分片函数
一个列表,存储存取每个Partition的优先位置(Preferred location)。(帮助判断数据所在的位置,找近的)

选择Executor.png

RDD特点

RDD表示只读的分区数据集,对RDD进行的改动,只能通过RDD的转换操作,由一个RDD获取到另一个新的RDD。新的RDD包含了从其他RDD衍生所必需的信息。RDD之间存在相互依赖,按照血缘关系延时计算。如果血缘关系较长,可以通过持久化RDD切断关系。

RDD分区

RDD逻辑上是分区的,每个分区的数据是抽象存在的,计算的时候会通过一个compute函数得到每个分区的数据。
如果RDD是通过已有的文件系统构建,则compute函数是 读取指定文件系统中的数据。
如果RDD是通过其他RDD转换而来,那么compute函数是 执行转换逻辑将其他RDD的数据进行转换。

只读

RDD是只读的,想改变RDD的数据,只能在现有的RDD基础上创建新的RDD。
由一个RDD转换到另一个RDD,可以通过丰富的算子操作实现,不必像MR,写map和reduce。

那么啥是算子?

从认知心理学角度,解决问题,其实是将问题的 初始状态,通过一系列操作(算子)对问题的状态进行转换,然后达到解决状态。(其实就是一顿操作解决问题)

Spark中的所有RDD方法都称之为算子,但分为2大类:转换算子 & 行动算子。

依赖

RDD之间通过算子进行转换,转换得到新RDD包含从其他RDD衍生所必须的信息。RDD之间维护着这种血缘关系,也称之为依赖。依赖包含两种。
窄依赖,RDDs之间的分区是一一对应的。
宽依赖,下游RDD的每个分区与上游RDD的每个分区都有关,多对多的关系。

缓存

如果在应用程序中多次使用同一个RDD,可以将RDD缓存起来,该RDD只有在第一次计算的时候,会根据血缘关系得到分区数据。后续使用到RDD的时候,会直接从缓存处取而不用再根据血缘关系计算,加速重用。

RDD创建

Spark中创建RDD的方式有三种:集合中创建RDD;外部存储创建RDD;从其他RDD创建;

集合中创建

Spark提供两个函数parallelize和makeRDD,没啥区别。

//创建RDD 这俩太大区别
// 1 从内存中创建 makeRDD
val listRDD = sc.makeRDD(List(1,2,3,4))
// 2 从内存中创建 parallelize
val arrayRDD = sc.parallelize(Array(1,2,3,4))

listRDD.collect().foreach(println)
arrayRDD.collect().foreach(println)

外部存储创建RDD

包括本地文件系统,HDFS和HBASE也支持
// 3 从外部存储中创建
// 默认情况下,可以读取项目路径,也可以读取HDFS之类的
// 默认从文件中读取的数据都是字符串类型
val fileRDD = sc.textFile(“hdfs://Master:9000/in”)

从其他RDD创建新RDD

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值