RDD常用算子整理

已于 2022-03-16 13:31:07 修改
阅读量1.8k 收藏 1
点赞数
分类专栏： PySpark 文章标签： 大数据 算法 python
于 2022-03-14 18:26:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elvis__c/article/details/123485029
版权

相关算子整理

from pyspark import SparkConf,SparkContext
import findspark 
findspark.init()
conf=SparkConf().setAppName('RD').setMaster('local[*]')
sc=SparkContext(conf=conf)

1.Action

collect将数据汇集到Driver,数据过大时有超内存风险
take将前若干个数据汇集到Driver，相比collect安全
takeSample可以随机取若干个到Driver,第一个参数设置是否放回抽样
first、count取第一个数和统计数量
reduce利用二元函数对数据进行规约
rdd.reduce(lambda x,y:x+y)
foreachaccum = sc.accumulator(0)
rdd.foreach(lambda x:accum.add(x))
accum.value
countByKey按key统计个数
saveAsTextFile保存rdd成text文件到本地
重新读入会被解析文本
rdd_loaded = sc.textFile(text_file)

2.Transformation

map对每个元素进行映射
rdd.map(lambda x:x**2).collect()
filter根据条件过滤数据
rdd.filter(lambda x:x>5)
flatMap将每个元素生成一个Array后压平
多用于词频统计结合split
sample对原rdd在每个分区按照比例进行抽样,第一个参数设置是否可以重复抽样
distinct去重
subtract找到属于前一个rdd而不属于后一个rdd的元素
a.subtract(b)
union并集
intersection交集
cartesian笛卡尔积
sortBy排序
zip按照拉链的方式连接两个RDD，类似python的zip函数
要求两个RDD具有相同的分区，每个分区元素数量相同
zipWithIndex从0开始的递增序列按照拉链方式连接

3.key-valueRDD的操作

PairRDD是指数据长度为2的tuple，类型<k,v>的数据

reduceByKey对相同的key对应的value应用于二元聚合操作
rdd.reduceByKey(lambda x,y:x+y).collect()
groupByKey分组操作，得到iterator
sortByKey按照key排序,可以指定是否降序
rdd.sortByKey(False).collect()
join相当于根据key进行内连接
leftOuterJoin和rightOuterJoin类似于表的左外和右外连接
cogroup对两个输入分别goupByKey然后再对结果进行groupByKey
subtractByKey去除x中那些key也在y中的元素
x.subtractByKey(y).collect()
foldByKey操作和reduceByKey类似，但是要提供一个初始值
x.foldByKey(1,lambda x,y:x*y).collect()

4.缓存操作

当一个rdd被多个任务用作中间变量时，对其进行cache缓存到内存中，加快计算。
声明对一个rdd进行cache后，该rdd不会被立即缓存，而是等到它第一次被计算出来时才进行缓存。
可以使用persist明确指定存储级别，常用的存储级别是MEMORY_ONLY和EMORY_AND_DISK。
unpersist释放缓存，unpersist是立即执行的
如果要切断血缘关系，可以用checkpoint设置检查点将某个rdd保存到磁盘中。

声明对一个rdd进行checkpoint后，该rdd不会被立即保存到磁盘，而是等到它第一次被计算出来时才保存成检查点

cachecache缓存到内存中，使用存储级别 MEMORY_ONLY
MEMORY_ONLY意味着如果内存存储不下，放弃存储其余部分，需要时重新计算。
persist缓存到内存或磁盘中，默认使用存储级别MEMORY_AND_DISK
MEMORY_AND_DISK意味着如果内存存储不下，其余部分存储到磁盘中
persist可以指定其它存储级别，cache相当于persist(MEMORY_ONLY)
a.unpersist() #立即释放缓存
checkpoint将数据设置成检查点，写入到磁盘中
unpersist释放内存
#checkpoint 将数据设置成检查点，写入到磁盘中。
sc.setCheckpointDir("./data/checkpoint/")
rdd_students = sc.parallelize(["LiLei","Hanmeimei","LiLy","Ann"],2)

rdd_students_idx = rdd_students.zipWithIndex() 

#设置检查点后，可以避免重复计算，不会因为zipWithIndex重复计算触发不一致的问题
rdd_students_idx.checkpoint() 
rdd_students_idx.take(3)

5. 共享变量

​ 当spark集群在许多节点上运行一个函数时，默认情况下会把这个函数涉及到的对象在每个节点生成一个副本。但是，有时候需要在不同节点或者节点和Driver之间共享变量。

Spark提供两种类型的共享变量，广播变量和累加器。
broadcast

  • 广播变量是不可变变量，实现在不同节点不同任务之间共享数据。
  • 广播变量在每个机器上缓存一个只读的变量，而不是为每个task生成一个副本，可以减少数据的传输。

accumulator

  • 累加器主要是不同节点和Driver之间共享变量，只能实现计数或者累加功能。

  • 累加器的值只有在Driver上是可读的，在节点上不可见

  • 广播变量
    在这里插入图片描述

  • 累加器

6.分区操作

分区操作一般是改变分区操作和转换操作

算子说明
glom将一个分区内的数据转换为一个列表作为一行
coalesceshuffle可选，默认为False情况下窄依赖，不能增加分区。repartition和partitionBy调用它实现
repartition按随机数进行shuffle，相同key不一定在同一个分区
partitionBy按key进行shuffle，相同key放入同一个分区
HashPartitioner默认分区器，根据key的hash值进行分区，
相同的key进入同一分区，效率较高，key不可为Array.
RangePartitioner只在排序相关函数中使用，除相同的key进入同一分区，相邻的key也会进入同一分区，key必须可排序。
TaskContext获取当前分区id方法
TaskContext.get.partitionId
mapPartitions次处理分区内的一批数据，适合需要分批处理数据的情况，比如将数据插入某个表，每批数据只需要开启一次数据库连接，大大减少了连接开支
mapPartitionsWithIndex类似mapPartitions，提供了分区索引，输入参数为（i，Iterator）
foreachPartition类似foreach，但每次提供一个Partition的一批数据
Elvis_hui
关注
专栏目录
RDD常用算子
weixin_48626604的博客
03-18 518
RDD常用算子 1.什么是RDD RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合 所有的运算以及操作都建立在RDD数据结构的基础上 可以认为RDD是分布式的列表或数组，抽象的数据结构，RDD是一个抽象类Abstract Class泛型Generic Type 2.RDD的五大特征 RDD是有分区的 RDD的分区是RDD数据储存的最小单位 一份RDD的数据，本质上是分隔
Spark RDD 常用算子总结
禧年
04-30 543
Transformation：转换算子 1、Map map 的输入变换函数应用于 RDD 中所有元素，而 mapPartition 应用于所有分区。区别于 mapPartitions 应用于所有分区。区别于 mapPartions 主要在于调用粒度不同。如 parallelize（1 to 10， 3），map 函 数执行 10 次，而mapPartitions 函数执行 3 次。 2、Fil...
常用RDD算子讲解（Scala语言）
最新发布
qq_64168588的博客
07-16 909
导读通过本节, 希望大家能够理解 RDD 的一般使用步骤// 1. 创建 SparkContext// 2. 创建 RDD// 3. 处理 RDD// 4. 行动, 得到结果通过上述代码可以看到, 其实 RDD 的整体使用步骤如下。
RDD中的常用算子
ItStar
08-22 1395
基本概念主要分为两大类Trasnformation和Actiontrasnformation(转换):主要是物理的转换,不会触发任务的真正的执行,只会记录我们进行了什么操...
RDD的算子大全
qq_41878423的博客
10-10 1443
RDD的算子大全RDD的算子大全基础转换操作0. Spark初始化1.map操作2.flatMap操作3.filter操作4.distinct去重操作5.mapPartions操作6. mapPartionWithIndex 操作7.union操作8. intersection交集9. subtract差集10. cartesian 笛卡尔积11.repartion重新分区12. randomSplit按权重拆分13. glom分区变数组14.zip 拉链操作15.zipPartition操作16.zipW
Spark之RDD转换算子（transformation）大全
zp17834994071的博客
08-07 4510
前面已经给大家讲过RDD原理，今天就给大家说说RDD的转换算子有哪些，以便大家理解。 对于转换操作，RDD的所有转换都不会直接计算结果，仅记录作用于RDD上的操作，当遇到动作算子（Action）时才会进行真正计算，理解了转换算子的用途，那么接下来就不能理解哪些是转换算子了，通俗的说只要没有经过聚合或计算的算子，都可以当作转换算子。 常用转换算子 map 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应 输入分区与输出分区一一对应 案
SparkCore算子整理
LiuYangCSND的博客
06-30 326
def glom(): RDD[Array[T]]
大数据spark常用算子用法总结（个人学习笔记）
yuekangwei的博客
02-22 2465
楼主目前在百度实习，刚学spark时困难重重，幸亏在百度实习的导师的帮助，年前学会了spark，并跑了几个程序，现在将学习过程中整理的spark算子代码用法给整理出来。 #coding=utf-8 #!/usr/bin/python # from pyspark.sql import SQLContext, Row #导入pyspark模块 from pysp...
spark常用的算子API
qq_29763559的博客
03-13 402
转换算子(Transformation)： map(func) :返回一个新的分布式数据集，由每个原元素经过func函数转换后组成。 mapPartitions(func): 与map类似，但map中的func作用的是RDD中的每个元素，而mapPartitions中的func作用的对象是RDD的一整个分区。所以func的类型是Iterator&lt;T&gt; =&gt;Iter...
Spark学习笔记整理 --- 2018-07-29【Spark算子的键值对RDD】
杨鑫newlife的专栏
07-29 541
常用的键值对转换操作 常用的键值对转换操作包括reduceByKey()、groupByKey()、sortByKey()、join()、cogroup()等，下面我们通过实例来介绍。 1.reduceByKey(func) reduceByKey(func)的功能是，使用func函数合并具有相同键的值。 比如，reduceByKey((a,b) =&gt; a+b)，有四个键值对(“spar...
RDD常用的高级算子
开水烫鱼的博客
01-18 401
spark高级算子 1）mapPartionWithIndex(func) 设置分区，并且查看每个分区中存放的元素 查看每个分区中元素 需要传递函数作为参数 val func = (index:Int,iter:Iterator[(Int)]) =&gt; {iter.toList.map(x =&gt;"["+ "partID:" + index + "," + "datas:" + x + ...
RDD算子
https://blog.csdn.net/sinat_36710456
12-28 441
1、常用Transformation操作：           （1）map（func）：返回一个新的RDD，该RDD由每一个输入的元素经过func函数转换后组成。           （2）filter（func）：返回一个新的RDD，该RDD由每一个输入的元素经过func函数计算后返回为true的输入元素组成。           （3）sortBy（func，[ascending], [nu...
大数据技术之Spark（二）——RDD常用算子介绍
five小点心的博客
03-31 3444
RDD 的操作分为和。就是从一个 RDD 产生一个新的 RDD；就是进行实际的计算。我们把RDD方法也称为算子。所以转换操作和行动操作一般也被叫做和。
Spark RDD常用算子整理
Yore - Home
06-13 4307
Spark常用算子的整理
Spark RDD常用算子
m0_47002117的博客
11-22 342
Spark RDD常用算子 一、parallelize 调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试 scala版本 scala的parallelize有两个参数，第一个是一个Seq集合，第二个是分区数，如果没有则会是默认分区数 scala版本可以选择makeRDD替换parallelize，java版本则没有 val rdd = sc.parallelize(List("A","B","C")) val
RDD常用算子总结
weixin_47640578的博客
07-06 3903
RDD常用算子
Spark Core核心----RDD常用算子编程
莫安逸无风雪
09-03 1525
1、RDD常用操作2、Transformations算子3、Actions算子4、SparkRDD案例实战 1、Transformations算子(lazy) 含义：create a new dataset from an existing on 从已经存在的创建一个新的数据集 RDDA---------transformation----------->RDDB map:map...
rdd的sample方法
05-30
RDD的`sample`方法用于从RDD中随机采样出一定比例的数据。该方法有以下几个参数： - `withReplacement`：是否采用有放回抽样，默认为`false`，即无放回抽样。 - `fraction`：采样比例。 - `seed`：随机数种子。 下面是一个示例代码： ```python # 创建RDD rdd = sc.parallelize(range(10)) # 从RDD中随机采样出一定比例的数据 sampled_rdd = rdd.sample(withReplacement=False, fraction=0.5, seed=42) # 输出采样结果 print(sampled_rdd.collect()) ``` 输出结果可能会因为随机性而不同，但大致上应该是以下形式： ``` [0, 1, 2, 4, 8] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Elvis_hui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值