RDD中的action的foreach、collect、collectAsMap、reduceByKeyLocally、lookup -- （视频笔记）...

最新推荐文章于 2023-02-13 20:07:44 发布
最新推荐文章于 2023-02-13 20:07:44 发布
阅读量100 收藏
点赞数
原文链接：http://www.cnblogs.com/isenhome/p/5085575.html
版权

foreach(较常用)

直接循环遍历RDD中的元素

collect (较常用)
将RDD中的数据收集起来，变成一个Array，仅限数据量比较小的时候。

collectAsMap()
返回hashMap包含所有RDD中的分片，key如果重复，后边的元素会覆盖前面的元素。

reduceByKeyLocally
先执行reduce然后在执行collectAsMap

lookup(较常用) 查找
针对key-value类型的RDD
lookup(V1) 从RDD中找出V1元素。
先查看RDD中是否有分区器，再从分区中找到结果。
如果RDD不包含分区器，则是暴力扫描。

转载于:https://www.cnblogs.com/isenhome/p/5085575.html

Spark学习之路 （三）Spark之RDD
微信搜：import_bigdata，大数据领域硬核原创作者
02-12 669
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、RDD的概述 1.1　什么是RDD？ 1.2　RDD的属性 1.3　WordCount粗图解RDD 二、RDD的创建方式 2.1　通过读取文件生成的 2.2　通过并行化的方式创建RDD 2.3　其他方式 三、RDD编程API 3.1　Transformation 3.2　Action 3.3　Spark WordCount代码编写 3.4　WordCount执行过程图 四、RDD的宽依赖和窄依赖 4.1　R
Spark一些常用的数据处理方法-1.RDD计算
dlke03的博客
12-21 1653
在Spark实际应用中，会用到很多数值处理方法，我将一些比较常用的方法写在这里，供新手向的学习参考一下。RDD的计算1.1 读取文件至RDD var rdd = sc.textFile("文件路径") var rddfromhdfs = sc.textFile("hdfs://hadoop-master-001:9000/hdfs文件路径") 这个当中有很多方法，比较常用的是 //返
RDD行动Action操作(3)–aggregate、fold、lookup
cloud-2014的专栏
09-14 350
aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U aggregate用户聚合RDD中的元素，先使用seqOp将RDD中每个分区中的T类型元素聚合成U类型，再使用combOp将之前每个分区聚合后的U类型聚合成U类型，特
Spark算子：RDD行动Action操作(3)–aggregate、fold、lookup
羽翼天宇
08-01 415
Spark算子：RDD行动Action操作(3)–aggregate、fold、lookup   关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit...
PySpark数据分析基础:核心数据集RDD常用函数操作一文详解(四)
master_hunter的博客
02-13 1017
写关于RDD的操作比我想象中的要多很多，不愧是支持整个大数据计算的核心数据集，相当于Pandas的DataFrame了，而且后续的PySpark的DataFrame很多还是需要转为RDD来实现其中的一些接口功能。关于PySpark的Pandas如何实现分布式计算的过程博主还是没有搞清楚故此内容回等我研究透了再写，而使用RDD去进行分布式计算的话，不论是Spark2或者3都可以实现，而且灵活，是大数据分析师必备的能力。
RDD转换操作算子 --- zip(k-v)、join(k)、cogroup（k）、lookup(k)
懂得一千零一种,赋予你失败的方法！
11-17 420
RDD转换操作算子 — zip、join zip 用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同，否则会抛出异常 @Test def test{ // zip 将两个RDD组合成（key，value）的形式 val a = sc.makeRDD(1 to 5,2) val b = sc.makeRDD(Seq("a","b","c","d","e"),2) val zip1: RDD[(I
spark RDD常用操作
findzk的博客
08-16 1691
Spark常用算子分析与应用 1、算子概述 什么是算子 英文翻译为：Operator（简称op） 狭义：指从一个函数空间到另一个函数空间（或它自身）的映射。 广义：指从一个空间到另一个空间的映射 通俗理解：指事物(数据或函数)从一个状态到另外一个状态的过程抽象。 实质就是映射，就是关系，就是变换。 算子的重要作用 算子越少，灵活性越低，则实现相同功能的编程复杂度越高，...
spark算子详解------Action算子介绍
smiles13的博客
12-23 723
本文首发自个人博客：https://blog.smile13.com/articles/2018/11/30/1543589289882.html 一、无输出的算子 1.foreach算子 功能：对 RDD 中的每个元素都应用 f 函数操作，无返回值。 源码： /** * Applies a function f to all elements of this RDD. */ ...
SparkTransformation和Action算子速查表.zip
07-06
这份“Spark Transformation和Action算子速查表”提供了Spark开发人员在日常工作中快速参考的关键信息。 **Transformation算子** Transformation算子是延迟执行的，它们不立即执行任何操作，而是创建一个新的DAG...
Spark总结（三）——RDD的Action操作
Dolphin_Zhao的专栏
07-27 3043
1、foreach操作：对RDD中的每个元素执行f函数操作，返回Unit。def funOps1(): Unit = { var rdd1 = sc.parallelize(List(1, 2, 3, 5, 6)) rdd1.foreach(println _) }源码： 2、saveAsTextFile操作：将数据输出到hdfs上，将RDD中的每个元素映射转变为（Null, e.toSt
Spark算子[11]：reduce、aggregate、fold 详解
行走的树
12-13 2902
以上三个方法操作都是对RDD进行的聚合操作。1、reduce()与fold()方法是对同种元素类型数据的RDD进行操作，即必须同构。其返回值返回一个同样类型的新元素。val nums = Array(1,2,3,4,5,6,7,8,9) val numsRdd = sc.parallelize(nums,3) val reduce = numsRdd.reduce((a,b) => a+b)2、fo
SparkRDD函数详解
布里啾啾迪布利多的博客
03-12 6886
1、RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1)      mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a =sc.parallelize(1 to 9, 3)scala&gt...
spark机器学习笔记：（二）用Spark Python进行数据处理和特征提取
热门推荐
风雪夜归子
06-27 3万+
声明：版权所有，转载请联系作者并注明出处  http://blog.csdn.net/u013719780?viewmode=contents   1.  获取公开数据集 UCL机器学习知识库:包括近300个不同大小和类型的数据集,可用于分类、回归、聚类和推荐系统任务。数据集列表位于:http://archive.ics.uci.edu/ml/。
RDD行动操作算子 --- foreach（遍历）、collect
懂得一千零一种,赋予你失败的方法！
11-17 4434
foreach操作是直接调迭代rdd中每一条数据 class foreachTest { val conf = new SparkConf().setMaster("local[6]").setAppName("sortBy") val sc = new SparkContext(conf) @Test def foreachTest: Unit ={ val rdd = sc.parallelize(Seq(1,2,3,4,5,6)) rdd.foreach( i.
spark collect driver端操作
dataastron的博客
05-03 2337
collect是将数据获取到driver端进行操作 foreach是将计算操作推到集群上去分布式执行
spark基础编程API(collectAsMap/lookup)-(3)
weixin_37614967的博客
05-30 1360
1. collectAsMap：说明如下对于一个RDD来说，collectAsMap函数返回所有元素集合，不过该集合是去掉的重复的key的集合，如果元素重该复集合中保留的元素是位置最后的一组样例：val pairRDD = sc.parallelize[(Int, Int)](Seq((1, 2), (3, 4), (3, 6)), 2)scala> val a = pairRDD.coll...
Spark笔记：RDD基本操作（下）
weixin_34273481的博客
05-19 199
　　上一篇里我提到可以把RDD当作一个数组，这样我们在学习spark的API时候很多问题就能很好理解了。上篇文章里的API也都是基于RDD是数组的数据模型而进行操作的。 　　Spark是一个计算框架，是对mapreduce计算框架的改进，mapreduce计算框架是基于键值对也就是map的形式，之所以使用键值对是人们发现世界上大部分计算都可以使用map这样的简单计算模型进行计算。但是Spark里...
Spark函数讲解：collectAsMap
漂浮
07-13 4394
/** * User: 过往记忆 * Date: 15-03-16 * Time: 上午09:24 * bolg: http://www.iteblog.com * 本文地址：http://www.iteblog.com/archives/1289 * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货 * 过往记忆博客微信公共帐号：
pyspark.rdd.repartition
最新发布
04-04
pyspark.rdd.repartition() is a method in PySpark that allows you to change the number of partitions in an RDD (Resilient Distributed Dataset). It shuffles the data across the partitions and creates ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值