spark学习笔记__chap4_spark基础原理__4.3_RDD Action及输出算子详解__进行中

最新推荐文章于 2023-08-07 18:30:32 发布
最新推荐文章于 2023-08-07 18:30:32 发布
阅读量292 收藏
点赞数 1
分类专栏： 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41521681/article/details/104918387
版权

  1. RDD是Spark里面最重要的基础抽象，代表的是弹性的分布式的数据集。RDD有很多的实现类，在各个RDD之上提供了transformation和action两大类算子。transformation算子具有惰性，他们并不会触发作业的提交，一个个的transformation算子操作只是定义出了计算所依赖的DAG有向无环图，它只是一个计算的逻辑，而真正会触发作业提交的算子是属于action类别的算子。这一节我们将讲到RDD上的大部分API！
    首先来看action类的算子

  2. spark中如何实现分布式并行的计算一个数据集中所有元素的和？这属于一个聚合操作，spark先把数据分区，每个分区由任务调度器分发到不同的节点分别计算和，计算的结果返回driver节点，在driver节点将所有节点的返回值相加，就得到了整个数据集的和了。spark里实现了这样一个算子
    aggregate(zeroValue, seqOp, combOp)
    zeroValue是每个节点相加的初始值，seqOp为每个节点上调用的运算函数，combOp为节点
    返回结果调用的运算函数。

    sc = spark.sparkContext
import numpy as np
rdd = sc.parallelize(np.arange(11),3)
rdd.collect()
rdd.aggregate(0,lambda x,y:x+y,lambda x,y:x+y)
rdd.aggregate(8,lambda x,y:x+y,lambda x,y:x+y)
rdd.aggregate(3,lambda x,y:x+y,lambda x,y:x+y)

    在这里插入图片描述
    从结果看到每个分区上调用seqOp函数都要加上zeroValue，最后运行combOp也要加上zeroValue。3个分区加上最后的combOp所以总共加了四次zeroValue。

  3. aggregateByKey(zeroValue, seqFunc, combFunc, numPartitions=None, partitionFunc=<function portable_hash>)这个方法用来对相同的key值进行聚合操作，同样的是指定zeroValue,seqFunc，numPartitoins为分区数，partitionFunc为作用在分区上的函数。这个方法同aggregate方法名字相似，但是它却是一个transformation方法，不会触发作业的提交！

    datas = [('a',22),('b',33),('c',44),('b',55),('a',66)]
rdd = sc.parallelize(datas,3)
rdd.collect()
rdd.aggregateByKey(0,lambda x,y:x+y,lambda x,y:x+y)
rdd.aggregateByKey(1,lambda x,y:x+y,lambda x,y:x+y,1).collect()

    在这里插入图片描述
    在这里插入图片描述

  4. 继续讲解action算子，collect方法
    该方法会触发作业的提交，返回一个结果的列表，注意：若结果集较大，使用collect方法
    可能使driver程序崩溃，因为collect方法会返回所有节点的结果数据到driver节点，造成OOM
    或其他的异常。
    rdd.collect()

  5. collectAsMap()这个方法仍然是action方法，会触发作业的执行，顾名思义该方法返回的结
    果是一个字典结构

    dd = rdd.collectAsMap()
type(dd)
dd

    注意这个方法对于键值对的数据，若键存在相同的情况，将发生覆盖！
    在这里插入图片描述

  6. count()方法，统计RDD中元素的个数
    rdd.count()
    在这里插入图片描述

  7. countApprox(timeout, confidence=0.95)
    带有超时限制的count统计函数，时间一到，即便所有任务还没有完成，该方法也会返回已经完
    成的任务的统计结果。

    rdd = sc.parallelize(range(1000000), 100)
rdd.countApprox(1000, 1.0)

    对于不同的时间，返回结果是不一样的！
    在这里插入图片描述

  8. countApproxDistinct(relativeSD=0.05)
    返回大概的RDD数据集中没有重复数据的数据条数。

    rdd1 = sc.parallelize(range(1000000), 100)
rdd2 = sc.parallelize(np.arange(1,1000001),100)
rdd3 = sc.union([rdd1,rdd2])
rdd3.countApproxDistinct()
rdd3.countApproxDistinct(relativeSD=0.01)
rdd3.countApproxDistinct(relativeSD=0.001)

    在这里插入图片描述

  9. countByKey()
    统计相同key的个数，以字典形式返回

    datas = [('a',11),('b',22),('b',88),('c',56)]
rdd = sc.parallelize(datas,3)
rdd.countByKey()

    在这里插入图片描述

  10. countByValue()统计值出现的次数，以值为键，次数为值返回字典

    data = ['a','b','c','d','a','a','a','b','c']
rdd = sc.parallelize(data,3)
rdd.countByValue()

  11. first()返回RDD中的第一条记录

    rdd = sc.parallelize(range(10))
rdd.first()
rdd = sc.emptyRDD()
rdd.first()

    注意emptyRDD调用是会报错的！
    在这里插入图片描述

  12. fold(zeroValue, op)，该方法使用给定的zeroValue和op方法，先聚合每一个partitons中的
    记录，然后全局聚合

    rdd = sc.parallelize(range(11),3)
rdd.fold(0,lambda x,y:x+y)
rdd.fold(1,lambda x,y:x+y)

该方法类似于aggragete方法，但是aggragete方法需要提供两个op，而fold方法只需要提供
一个op即可！

在这里插入图片描述

  1. foreach(f)在RDD中的每个元素上应用f方法
sc.parallelize(range(100),3).foreach(lambda x:x**3)

该方法确实是action方法，但是用处不是特别大

  1. foreachPartition(f)在每个分区上应用一个方法f，这个方法就很有用了，例如可以在该
    方法中建立与关系型数据库的链接，将数据保存到mysql或其他数据库中。
def f(iter):
	link to mysql
	for i in iter:
		save to mysql xxxx
		sc.parallelize(range(10),3).foreachPartition(f)
  1. vgetNumPartitions()，这个方法不是action方法，但是可以得到RDD上的分区数，立即执
    行有返回值！
rdd = sc.parallelize(range(100),3)
rdd.getNumPartitions()
  1. getStorageLevel()得到当前RDD的缓存级别
rdd.getStorageLevel()
print(rdd.getStorageLevel())

  1. id()返回该RDD的唯一id值
    rdd.id()

  2. vhistogram(buckets)通过设置的bin区间，返回对应的直方图数据。结果为一个二元tuple，
    tuple第一个元素为区间，第二个元素为区间上元素个数。

  3. isCheckpointed()返回该RDD是否checkpointed了

  4. isEmpty()返回该RDD是否为empy的RDD ，即RDD中没有元素。

rdd1 = sc.emptyRDD()
rdd1.isEmpty()
  1. vlookup(key)由key值在RDD中查找数据
rdd = sc.parallelize([('a',1),('b',2),('c',3),('a',11)],3)
rdd.lookup('a')
rdd.lookup('b')

22.mean()返回RDD中元素的均值

rdd = sc.parallelize(range(20),3)
rdd.mean()

23.vmeanApprox(timeout, confidence=0.95)在给定时间内按置信度计算均值，属于过时不候类
型！

rdd = sc.parallelize(range(2000000),100)
rdd.mean()
rdd.meanApprox(100)

24.vmin(key=None)返回RDD中的最小值

rdd.min()

25.name()返回RDD的名称

rdd.setName('myrdd')
rdd.name()

26.reduce(f)使用指定的方法对RDD中的数据进行聚合操作
rdd = sc.parallelize(range(20),100)
rdd.reduce(lambda x,y:x+y)
sum(rdd.collect())
可以从operator模块导入add二元操作函数，直接用于求和,更加简洁！
from operator import add
rdd.reduce(add)
27.reduceByKeyLocally,通过key进行聚合计算，返回一个字典结构
rdd = sc.parallelize([(“a”, 10), (“b”, 19), (“a”, 88)],3)
rdd.reduceByKeyLocally(add)
28.sampleStdev()计算RDD中元素的标准差，注意样本的标准差除的是N1
而不是样本个数N
rdd = sc.parallelize(np.arange(1,10,2),3)
rdd.sampleStdev()
验证除的是N1
而不是N
29.sampleVariance()RDD中元素的方差，同sampleStdev方法类似，除的是N1
rdd = sc.parallelize(np.arange(1,10,2),3)
rdd.sampleVariance()
30. saveAsPickleFile使用pyspark.serializers.PickleSerializer序列化器将RDD数据
持久化,使用sparkcontext的pickleFile读取
sc.parallelize(range(100),3).saveAsPickleFile(’/datas/pickles/ccc’, 5)
sorted(sc.pickleFile(’/datas/pickles/ccc’, 3).collect())
31.saveAsTextFile并指定压缩格式
sc.pickleFile(’/datas/pickles/bbb’,
3).saveAsTextFile(’/datas/compress/test’,‘org.apache.hadoop.io.compress.GzipCodec’)
sc.pickleFile(’/datas/pickles/bbb’, 3).saveAsTextFile(’/datas/compress/test_abc’)
32.saveAsSequenceFile(path, compressionCodecClass=None)将RDD保存为序列文件,注
意：只能保存key,value结构的RDD数据！可以指定compressionCodecClass
为"org.apache.hadoop.io.compress.GzipCodec"
rdd = sc.parallelize(range(100),3).map(lambda x:(x,str(x)+’_hello’))
rdd.saveAsSequenceFile(’/datas/compress/sequencefile’)
查看hdfs目录
保存后使用sparkcontext的sequenceFile进行读取
sc.sequenceFile(’/datas/compress/sequencefile’).collect()
33stats()返回一个StatCounter 对象，它包含RDD元素的均值，方差等信息。
rdd = sc.parallelize(range(100),3)
rdd.stats()
34.stdev()计算RDD元素的标准差。注意该方法除的是N，而sampleStdev除的确是N1
.
35.sum()求RDD中所有元素的和
36.sumApprox(timeout, confidence=0.95)带有超时限制的求和估计方法
rdd = sc.parallelize(range(10000),300)
rdd.sumApprox(1)
rdd.sum()
37.take(num)获取RDD前num条数据
rdd.take(10)
38.takeOrdered(num, key=None)按照某种顺序取出num条数据，排序方法可以由key关键字
指定。
rdd = sc.parallelize([2,1,3,6,9,1,3,5,6,7,2,3],3)
rdd.takeOrdered(5)
rdd.takeOrdered(5,key=lambda x:-x)
39.takeSample(withReplacement, num, seed=None)从RDD数据集中采样，
withReplacement指定是否有放回，num指定采样个数，seed指定采样的种子，便于结果复
现！
rdd.takeSample(True,10,1)
rdd.takeSample(True,10,1)
rdd.takeSample(True,10,2)
40.toDebugString()返回RDD的调试模式的字符描述
rdd.toDebugString()
41.toLocalIterator()将RDD中的元素返回为本地可迭代数据集，因此要保证本地内存足够
大，能满足存放数据的需要。
42.top(num, key=None)返回RDD中从大到小排序的前num个，默认降序排列，可以通过关键
参数key指定排序方式,数据量太大的时候，需要注意内存是否满足！
rdd = sc.parallelize([2,1,3,6,9,1,3,5,6,7,2,3],3)
rdd.top(5)
rdd.top(5,key=lambda x:-x)
43.treeAggregate(zeroValue, seqOp, combOp, depth=2)该方法实现了多层次的树算法来对
数据进行聚合，使用类似于aggregate方法。
from operator import add
rdd = sc.parallelize([2,1,3,6,9,1,3,5,6,7,2,3],3)
rdd.treeAggregate(0,add,add,4)
rdd.treeAggregate(0,add,add,5)
rdd.treeAggregate(0,add,add,50)
rdd.treeAggregate(0,add,add,2)
rdd.treeAggregate(1,add,add,2)
rdd.treeAggregate(1,add,add,4)
rdd.treeAggregate(2,add,add,4)
44.treeReduce(f, depth=2)实现了多层次的树模型算法来提升速度，使用同reduce方法类
似。
from operator import add
rdd = sc.parallelize([2,1,3,6,9,1,3,5,6,7,2,3],3)
rdd.treeReduce(add,3)
rdd.treeReduce(add,4)
45.variance()返回方差，注意和sampleVariance方法的区别，sampleVariance这个方法除
的是N-1而variance除的是N
rdd.variance()
rdd.sampleVariance()

assassin_sword
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
chap5_4plant.rar_chap5_4plant_鲁棒控制
07-15
采用状态非那亏方法对名义模型进行控制，不用建立精确模型，事项鲁棒控制。
Spark RDD、Dataset、Dataframe的head()，first()，take()，isEmpty()
Code_LT的博客
02-18 7254
RDD： rdd无head函数 take(num: Int): Array[T]： 返回rdd的前num个元素组成array到driver。若rdd为nothing或null会报错 first(): T： 返回rdd的第一个元素，若rdd为空，或为nothing或null会报错 isEmpty(): Boolean ： 判断rdd是否为空（空分区或空元素都为空，即使分区有一个，元素为空也为...
spark系列（2）之RDD常用方法
q736317048的博客
08-16 663
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。这里的弹性指的是RDD可以根据当前情况自动进行内存和硬盘存储的转换 在spark中所有的计算都是围绕着RDD操作的，每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上，并且RDD也可以缓存到内存中 RDD支持两种操作:转化操作和行动操作。 RDD 的转化操作是返回一个新的 RDD的操作，新的RDD则包含了如何从其他RDD
Spark 任务常见错误以及解决方案
热门推荐
qq_31806205的博客
09-23 1万+
Table or view not found: aaa.bbb The column number of the existing table dmall_search.query_embedding_data_1(struct<>) doesn’t match the data schema(struct<user_id:string,dt:string,sku_list:array>); Cannot insert into table ddw_ware.purchase_d.
Spark Streaming揭秘 Day18 空RDD判断及程序中止机制
weixin_33775572的博客
06-01 136
Spark Streaming揭秘 Day18 空RDD判断及程序中止机制 空RDD的处理 从API我们可以知道在SparkStreaming中，对于RDD的操作一般都是在foreachRDD和Transform方法里。 在使用foreachRDD时，有一个风险，就是如果RDD为空可能会导致计算失败，那么应用如何来判断为空呢？ 方法1：使用RDD.count count方法会直接触发一个Job，代...
RDD api整理
weixin_33941350的博客
04-07 141
RDD[T] Transformations rdd api 备注 persist/cache map(f: T => U) keyBy(f: T => K) 特殊的map，提key flatMap(f: T => Iterable[U]) map的一种，类似UDT...
Spark中的RDD函数【基本函数、分区函数、重分区函数、聚合函数、关联函数】详解
shuyv的博客
08-26 2574
文章目录基本函数分区函数 基本函数 RDD中的map、filter、flatMap以及foreach等函数作为最基本的函数，都是RDD中的每个元素进行操作，将元素传递到函数中进行转换。 函数名 用法 解释 map 函数 map(f:T=>U) : RDD[T]=>RDD[U] 表示将RDD经由某一函数f后，转变成另一个RDD。 flatMap 函数 flatMap(f:T=>Seq[U]) : RDD[T]=>RDD[U]) 表示将RDD由某一函数f后，转变为一
Spark核心编程-RDD行动操作
上海一九四三
08-11 624
一、集合标量行动操作 first: 返回RDD中第一个元素，不排序 count: 返回RDD中元素数量 reduce: 根据映射函数，对RDD进行计算 collect: 将RDD转化为数组 take(num): 获取RDD中从0到num-1下标的元素，不排序 top(num): 按照默认降序排序的或者指定规则排序返回前num个元素 takeOrdered(num): 和top类似，只...
【Spark】Spark-空RDD判断与处理
weixin_34379433的博客
01-11 4259
Spark-空RDD判断与处理  SparkKafkaDemo - Streaming Statisticsrdd isempty count_百度搜索Spark RDD.isEmpty costs much time - Stack OverflowSpark Streaming中空RDD的处理-Spark-about云开发[SPARK-5270] Provide isEmpty() funct...
Spark RDD编程核心
02-16 76
一句话说，在Spark中对数据的操作其实就是对RDD的操作，而对RDD的操作不外乎创建、转换、调用求值。 什么是RDD 　　RDD（Resilient Distributed Dataset），弹性分布式数据集。 　　它定义了如何在集群的每个节点上操作数据的一系列命令，而不是指真实的数据，Spark通过RDD可以对每个节点的多个分区进行并行的数据操作。 　　之所以称...
CHAP_05.rar_Proakis_chap matlab
07-13
proakis chapter 5 code
chap_ms.rar_chap_ms chap
09-14
Microsoft MS-CHAP compatible implementation.
MATLAB课件.zip_SIMULINK_m_chap2_ex2_1.m_
07-13
用MATLAB对矩阵进行求解，以及对仿真程序的抒写和模拟
chap4.rar_4 3 2 1_CCS_dsp
07-15
4．1 实验1： 6713DSK 实验设备的认识和测试实验 4．2 实验2： CCS 编程环境下编程...4．3 实验3： 基本 I/O 接口操作和线性汇编混合编程 4．4 实验4： 音频信号采集和处理实验 4．5 实验5： 定时器中断与中断处理实验
ParallelCollectionRDD [0] isEmpty at KyuubiSparkUtil.scala:48问题解决
qq_43688472的博客
08-07 571
这个问题出现在使用Kyubi Spark Util处理ParallelCollectionRDD的过程中，具体是在KyubiSparkUtil.scala文件的第48行调用isEmpty方法时出现的。异常的使用方式：在KyubiSparkUtil.scala文件的第48行，可能对于isEmpty方法的使用方式有误。Spark版本不兼容：有时，特定的Spark版本可能存在问题或不兼容的情况。建议确保使用的Spark版本与Kyubi Spark Util兼容，并尝试更新到最新的Spark版本。
第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止
段智华的博客
06-01 2315
第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止 /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道 68917580*/ 1 Spark Streaming中空RDD的处理 2 Spark Streaming程序优雅的停止   跟51cto和csdn课堂合作，最最重要的是如何贡献社会，祝福
spark 之如何创建空的RDD
qq_33465047的博客
05-25 1017
spark 之如何创建空的RDD 1 创建没有分区的空 RDD 在 Spark 中，对 SparkContext 对象使用 emptyRDD() 函数会创建一个没有分区或元素的空 RDD。 下面的示例创建一个空 RDD。 In Spark, using emptyRDD() function on the SparkContext object creates an empty RDD with no partitions or elements. The below examples create an
Spark - isEmpty() trap in Spark
tianyeshiye
03-29 873
Versions:Spark 2.1.0 In general Spark's actions reflects logic implemented in a lot of equivalent methods in programming languages. As an example we can consider isEmpty() that in Spark checks the e...
Spark Streaming空DStream判断
王佩的CSDN博客
05-14 1948
在Spark Streaming中对空DStream的判断，最终都是对空RDD的判断。一般有三种方法:计数(RDD.count),分区(RDD.partitions.length),计数+分区(RDD.isEmpty)。 RDD.count 适用于所有类型的DStream，但由于是Action算子，会触发SparkContext.runJob方法，从而导致Job的提交和运行，当数据量较大时，代价也...
matlab中chap5_3f
最新发布
08-25
引用: 在看关于卡尔曼滤波的教程时，提到了一个文件chap1_27f.m，这个文件仿真结果没有问题，但是输出的结果都是关于变量Y(n)的。用户想知道是否有办法可以显示出变量X(n)的变化过程。 引用: 在尝试在Simulink中运行文件时，出现了一个错误信息，指出在flag=1调用期间，由S-Function返回的状态导数必须是长度为4的实向量。用户在flag=1中保持了长度为4，并且使用了实代数方程，但仍然出现了复杂向量的问题。用户想知道为什么会出现这个问题。 关于第一个问题，根据提供的引用内容，无法得知matlab中chap5_3f是什么。请提供更多关于chap5_3f的信息，我将尽力提供帮助。 关于第二个问题，根据引用，出现的错误信息是由于S-Function返回的状态导数的长度不匹配。这可能是因为在flag=1调用中的实向量的长度与期望的长度不一致。建议仔细检查代码中与S-Function相关的部分，确保状态导数的长度正确，并且与S-Function的要求相匹配。如果问题仍然存在，请提供更多关于代码和错误消息的信息，以便我能够提供更具体的帮助。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [卡尔曼滤波求教-chap1_27f.m](https://download.csdn.net/download/weixin_39841856/11536026)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [倒立摆系统的 S 函数文件：S 函数 simulink 错误：在 flag=1 调用期间必须是长度为 4 的实向量...-matlab开发](https://download.csdn.net/download/weixin_38742954/19223894)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值