scala集合方法与RDD算子区别

最新推荐文章于 2022-03-03 14:21:43 发布
最新推荐文章于 2022-03-03 14:21:43 发布
阅读量358 收藏 1
点赞数
分类专栏： spark大数据分析 文章标签： scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39732131/article/details/120664817
版权

1、Scala集合方法与RDD算子区别

 RDD的方法和Scala集合对象的方法不一样

 集合对象的方法都是在同一个节点的内存中完成的

RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行

为了区分不同的处理效果，所以将RDD的方法称之为算子

RDD的方法之外的操作都是在Driver端执行的，而方法内部的逻辑代码是在Excutor端执行的

2、RDD转换算子与行动算子

转换算子，是将RDD进行各种形式的变换，但不执行

转换算子处理完RDD，还是RDD，可能RDD内的元素类型变了

行动算子，像是启动按钮，将之前一系列转换算子一并执行

行动算子处理完RDD，就不是RDD了，而是常见的变量或集合类型

月笼纱lhz
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
为什么把Spark RDD中的方法称之为算子？和Scala中的方法有什么不同？
楠楠好难
04-24 477
算子也就是Operator（操作） 不同的称呼是为了区分RDD的方法和Scala集合对象的方法 Scala集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 RDD的方法 外部操作都是在Driver端执行，而方法内部的逻辑代码是在Executor端执行 例如： ...
【SparkCore篇03】RDD行动算子1
08-04
在Spark中，RDD（Resilient Distributed Datasets）是基本的数据抽象，它是不可变、分区的记录集合，可以在集群的不同节点上并行操作。本篇主要讲解RDD的行动算子，包括`reduce`、`collect`、`count`、`first`、`...
SparkCore-容易混淆的RDD算子区别(Scala版本)
程序员学习圈
01-08 366
1.map与flatMap的区别 # 初始化数据 val rdd1 = sc.parallelize(Array("hello world","i love you")) 1.1  map # map算子 rdd1.map(_.split(" ")).collect # map算子结果输出 res0: Array[Array[String]] = Array(Array(hello, ...
bigdata_scala集合与Spark
JIE_ling8的博客
11-11 453
一丶scala集合 collection 1 Scala List(列表) 元素以线性方式存储，集合中可以存放重复对象。 2 Scala Set(集合) 集合中的对象不按特定的方式排序，并且没有重复对象。 3 Scala Map(映射) KV对存储 4 Scala 元组 元组是不同类型的值的集合 5 Scala Option 表示有可能包含值的容器，也可能不包含值。 6 Scala Iterator迭代器 迭代器不是一个容器，更确切的说是逐一访问容器内 1.List 概念：类似数组，内容类型相同，通过泛型约
讨论Spark中RDD四种转换聚合算子的区别（源码角度）
JaneRoad
02-21 235
首先，让我们先思考一个问题：reduceByKey、foldByKey、aggregateByKey、combineByKey的区别？ 解释： 1.reduceBy...
RDD 常用一些常用算子的区别，什么是持久化？
小林玩大数据
02-08 2355
RDD 一些常用算子的区别
【SparkCore篇02】RDD转换算子1
最新发布
08-04
SparkCore篇02主要介绍了RDD的一些基础转换算子，这些算子是Spark处理数据的核心工具。以下是关于这些算子的详细说明： 1. **map()**：map算子用于对RDD（Resilient Distributed Dataset）中的每个元素进行操作。它...
spark算子基础讲义1
03-13
RDD 是一个只读的、可分区的、可并行处理的数据集合。RDD 可以通过文本文件、数据库、Hadoop 等方式创建。 三、 Spark 算子分类 Spark 算子可以分为以下几类： 1. 转换算子（Transformation）：将一个RDD 转换为...
spark-scala-api
04-14
Spark Scala API 是一个用于大数据处理的强大工具，它结合了Apache Spark的高性能计算框架与Scala编程语言的简洁性和表达力。这个zip压缩包很可能是包含了Spark的Scala开发接口及相关示例，便于开发者在Scala环境中...
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
【Spark】（二）RDD和算子
hr786250678的博客
01-19 384
  一、RDD 1.1 什么是RDD? RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark计算过程的核心，是spark计算过程中的瞬时结果，下一个RDD依赖于上一个RDD。它代表一个不可变、可分区、里面的元素可并行计算的集合。 数据集就是由许多数据组成的集合了 RDD本身并不是分布式的，里面的数据是分布式的。 那么，弹性是什么...
scala Array[String]转RDD[String]
热门推荐
enjoy
05-20 1万+
本来想统计一下每个单词的个数并进行排序，但是类型是所以查了一下相关材料有两种方法： 1）把原有的数据进行数据类型转化Array[String]转RDD[String] val sc=spark.sparkContext.parallelize(Array[String]数据) sc就是RDD[String]类型，之后就可以调用RDD相关方法 2）直接map统计完单词个数之后，调用so...
BigData进阶--细说RDD，DataFrame，Dataset的区别
GO BEYOND YOURSELF
12-26 3681
在spark中有重要的组件SparkContext和SQLContext，在读取数据文件时我们可以通过这两个组件进行不同形式的读取，比如： val conf = new SparkConf().setMaster("local").setAppName("testRead") val sc = new SparkContext(conf) val readFile = sc.textFil
Spark中普通集合与RDD算子的sortBy()有什么区别
Sun's Blog
03-29 277
分别观察一下集合与算子的sortBy()的参数列表 普通集合的sortBy() RDD算子的sortBy() 结论：普通集合的sortBy就没有false参数，也就是说只能默认的升序排。 如果需要对普通集合中的元素需要升序排怎么办？ 如图所示，我这调用的sortby()是List集合的方法了，不是算子，所以不能加false参数指定降序排，只能默认的升序排了，但是用reverse()反转就能达到一样的效果。 或者使用takeRight()方法取后十个也一样，注意的是后十个也是按升序排的 ...
scala中方法和函数的区别
Aidon博客
06-28 3034
在Scala中函数和方法有什么区别如下：1、有参方法可以作为表达式的一部分出现，无参方法可以作为最终表达式出现；但函数可以作为最终表达式出现方法可以作为一个表达式的一部分出现（调用函数并传参），但带参方法不能作为最终的表达式出现，无参方法可以作为最终表达式出现，其实这属于方法调用，scala规定无参方法的调用可以省略括号；但是函数可以作为最终的表达式出现：scala> //定义一个方法 s...
为什么spark中叫算子不叫方法以及算子之间的区别
wang5g的博客
03-03 1901
今天博主在学习spark中一直在用算子，突然很困惑为什么要叫算子而不是方法呢？ 答： 算子：（Operation) 是为了区分和scala集合对象的方法，集合对象的方法都是在同一个节点中完成的，RDD的方法也就是算子都是在Executor中执行，为了区分两者，所以称之为算子。 foreach collect.foreach Execute端执行操做 在driver端执执行操作 每个Execute进行输出，所以乱序 Execute端反馈给driver，driver端进行整合输出，所以是有序
集合的特点和区别（List、Set、MaphashMap、hashTable、Arraylist、linkedList）
qq_42924666的博客
11-08 324
1、List,Set,Map存取元素各有什么特点? 1.存放 (1)List存放元素是有序，可重复 (2)Set存放元素无序，不可重复 (3)Map元素键值对形式存放，键无序不可重复，值可重复 2.取出 (1)List取出元素for循环，foreach循环，Iterator迭代器迭代 (2)Set取出元素foreach循环，Iterator迭代器迭代 (3)Map取出元素需转换为Set，然后进行Iterator迭代器迭代，或转换为Entry对象进行Iterator迭代器迭代 2、HashMap、HashT.
Spark随笔--核心数据结构RDD
Fishman113的博客
12-26 265
概念 RDD（弹性分布式数据集），可以看作是一种集合类型（Array，List），可以通过RDD来操作和存储数据； 但是与普通的集合是有区别的： - ①RDD有分区机制，可以分布式的进行数据集的处理，从而提高处理速度 - ②RDD有容错机制，数据丢失可以恢复 - 如何创建RDD 方式一：将普通集合（Array,List）转化为RDD ①sc.makeRDD(普通集合，分区数) 例如：s...
Scala集合操作详解：数据变换与函数示例
"Scala集合数据操作示例" 在Scala中，集合操作是其强大的特性之一，尤其对于处理数据和实现算法的场景，它提供了丰富的函数库。这篇摘要主要以List类型为例，介绍了如何进行集合的变换操作。 1. 常用操作符（函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值