Spark RDD操作


一、Spark RDD基础

1、Spark RDD是什么

Spark RDD是一个不可变的分布式对象集合,每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上,进行并行化运算。

2、创建Spark RDD的两种方式

(1)读取外部数据集
如:val lines = sc.textFile(“words.txt”)
(2)在驱动器程序中对一个集合进行并行化
如:val lines = sc.parallelize(List(“you”,“are”,“wonderful”,“boy”,“girl”))

3、RDD的两种类型操作

区分RDD类型的一种方法是看函数的返回值类型,转化操作返回的是RDD,而行动操作返回的是其他数据类型。

(1)转化操作(transformation)
RDD的转化操作都是惰性求值的,这意味着当我们对RDD调用转化操作时,只是会派生出新的RDD,而不会立即执行运算。此时Spark会使用谱系图(lineage graph)来记录这些不同RDD之间的依赖关系。当调用行动操作时,Spark会根据这些信息来按需计算每个RDD。Spark也可以依靠谱系图在持久化的RDD丢失部分数据时恢复所丢失的数据。
(2)行动操作(action)
RDD的行动操作会对数据集进行实际的计算,并将最终求得的结果返回到驱动器程序或写入外部存储系统中。
每当调用一个新的行动操作时,整个RDD都会从头开始计算,为避免这种低效行为,可以将中间结果持久化。持久化方法可参考文章:https://blog.csdn.net/mcajax/article/details/103826358


二、常用的RDD操作

1、转化操作

(1)map()
接收一个函数,把这个函数应用于RDD中的每个元素,将函数的返回结果作为结果RDD中对应元素的值。其返回值类型不需和输入类型一样。
(2)filter()
接收一个函数,将RDD中满足该函数的元素放入新的RDD中返回。
(3)flatMap()
与map类似,接收一个函数,把这个函数应用于RDD中的每个元素,而返回的并不是一个元素,而是一个返回值序列的迭代器,flatMap会将返回的迭代器“拍扁”,得到一个由各列表中元素组成的RDD。
(4)distinct()
用来生成一个只包含不同元素的新RDD,但是此操作的开销较大,因为需要将所有数据通过网络进行混洗(shuffle)。
(5)union()
并集,此操作会返回一个包含两个RDD中所有元素的RDD。如果输入的RDD中有重复数据,union操作也会包含这些重复数据。
(6)intersection()
交集,此操作只返回两个RDD中都有的元素,在运行时会去掉所有重复数据。性能比union差很多,因为要通过shuffle来发现共有元素。
(7)subtract()
差集,此函数接收另一个RDD作为参数,返回一个只存在于第一个RDD中而不存在于第二个RDD中的所有元素组成的RDD,需进行shuffle操作。
(8)cartesian()
笛卡尔集,此操作会返回所有可能的(a,b)对,其中a是源RDD中的元素,b则来自另一个RDD。RDD规模较大时此操作开销巨大。

2、行动操作

(1)collect()
此操作将整个RDD的内容返回到驱动器程序中,只有当程序把RDD筛选到一个很小的规模能在单台机器的内存中放得下时才可以使用。
(2)reduce()
接收一个函数作为参数,这个函数要操作两个相同元素类型的RDD数据并返回一个同样类型的新元素。返回值类型需要和所操作的RDD中元素类型相同。
(3)fold()
与reduce()类似,接收一个与reduce()接收的函数签名相同的函数,再加上一个“初始值”来作为每个分区第一次调用时的结果。返回值类型需要和所操作的RDD中元素类型相同。
(4)aggregate()
使用此函数时需要我们提供期待返回的类型的初始值,然后通过一个函数把RDD中的元素集合合并起来放入累加器,考虑到每个节点是在本地进行累加的,最终还需要提供第二个函数来将累加器两两合并。
(5)take(n)
返回RDD中的n个元素,并且尝试只访问尽量少的分区,因此该操作会得到一个不均衡的集合。
(6)top()
如果为数据定义了顺序,使用此函数可以从RDD中获取前几个元素。该函数会使用数据的默认顺序,也可以提供自己的比较函数。
(7)takeSample(withReplacement,num,seed)
可以从驱动器程序中对我们的数据进行采样,并指定是否替换。
(8)takeOrdered(num)(ordering)
从RDD中按照提供的顺序返回最前面的num个元素。
(9)foreach()
使用此函数可以对RDD中每个元素进行操作,比如将数据保存到数据库中,而不需要返回到驱动器程序中。
(10)count()
用来统计返回元素的个数。
(11)countByValue()
返回一个从各值到值对应的计数的映射表。

三、数值RDD操作

Spark的数值操作是通过流式算法实现的,允许以每次一个元素的方式构建出模型。这些统计数据都会在调用stats()方法时通过一次遍历数据计算出来,并以StatsCounter对象返回。常用的方法有:

方法含义
count()RDD中的元素个数
mean()元素的平均值
sum()总和
max()最大值
min()最小值
variance()元素的方差
sampleVariance()从采样中计算出的方差
stdev()标准差
sampleStdev()采样的标准差
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值