RDD的简介

RDD

RDD的概念

RDD(resilient distributed dataset)是什么?

  1. RDD是弹性分布式数据集
  2. 是spark对数据的抽象
  3. spark的本质就是对RDD的创建、转化、处理

RDD的属性

  一组分片(Partition),即数据集的基本组成单位,对于RDD来说,每个分片都会被一个计算任务处理,用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值,默认值一般就是程序所分配到的CPU Core的数目。
  一个计算每个分区的函数,Spark中RDD的计算是以分片为单位的,每个RDD都会实现compute函数以达到这个目的,compute函数会对迭代器进行复合,不需要保存每次计算的结果。
  RDD之间的依赖关系,RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系,在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。
  一个列表,存储存取每个Partition的优先位置(preferred location),对于一个HDFS文件来说,这个列表保存的就是每个Partition所在的块的位置,按照“移动数据不如移动计算”的理念,Spark在进行任务调度的时候,会尽可能地将计算任务分配到其所要处理数据块的存储位置。

创建RDD

创建RDD有三种创建方法:

  1. 从集合创建:
    val lines1=sc.parallelize(List(“aa”,”bb”))
  2. 从文件中创建,本地文件:
    val lines2=sc.textFile(“/root/wc.txt”)
  3. 从文件创建,hdfs:
    val lines2=sc.textFile(“hdfs://hadoop3801:9000/文件名”)

RDD的转化操作

RDD支持两种操作:

  1. 转化操作(transformations算子,并没有触发执行)
  2. 行动操作(action算子,触发执行)

RDD的算子(函数、方法)

transformations算子:

  相当于scala的lazy, 延迟加载,不会将操作递交到集群,主要常用的包括:map,flatMap,filter,union,distinct,groupBy,sortBy
Map: 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成。
flatMap: 压平操作。
filter: 过滤(返回一个新的RDD,该RDD由func函数计算后返回值为true的输入元素组成)。
union: 并集(两个RDD求并集后返回一个新的RDD)。
distinct: 去重(对原RDD进行去重后返回一个新的RDD)。
intersection: 交集(两个RDD求交集后返回一个新的RDD)。
groupBy: 分组
sortBy: 排序

action算子:真正触发执行

collect: 收集,将数据收集到Driver端。
count: 计数。
take: 求集合中的n个元素。
foreach: 对原来的RDD中的每个元素,执行func操作 。

foreach和map的区别:

(1): foreach没有返回值,map有返回值
(2): foreach是action操作,会触发计算,map是tranformation操作,延迟计算

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值