Transformation算子，action算子，产生shuffle的算子

最新推荐文章于 2021-06-15 18:47:11 发布
最新推荐文章于 2021-06-15 18:47:11 发布
阅读量1.2k 收藏 9
点赞数 7
分类专栏： spark 文章标签： spark 算子
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tclwh123/article/details/85015264
版权

Transformation的官方文档方法集合如下：

map
filter
flatMap
mapPartitions
mapPartitionsWithIndex
sample
union
intersection
distinct
groupByKey
reduceByKey
aggregateByKey
sortByKey
join
cogroup
cartesian
pipe
coalesce
repartition
repartitionAndSortWithinPartitions

Action的官方文档方法集合如下：

reduce
collect
count
first
take
takeSample
takeOrdered
saveAsTextFile
saveAsSequenceFile
saveAsObjectFile
countByKey
foreach

Spark会产生shuffle的算子

去重

distinct

聚合

reduceByKey
groupBy
groupByKey
aggregateByKey
combineByKey

排序

sortByKey
sortBy

重分区

coalesce
repartition

集合或者表操作

intersection
subtract
subtractByKey
join
leftOuterJoin

tc_lwh
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
产生shuffle的转换算子
bing13692468的博客
07-14 2809
6.2.产生shuffle的transformation的算子 Transformation算子只要产生shuffle就会写入磁盘,而且会触动行动算子,分布聚合都是在shuffle之前,然后开始写入磁盘,全局聚合,是shuffle之后,是从本地磁盘中拉去出来,比如reduceByKey 6.2.1 sortBy 和sortByKey 排序 使用的RangePartition，在构建这个分区器是要采样，触发一次Action //sortby 参数一排序规则 参数二 默认升序 false 降序 sc.p
spark之算子--transformation和action
qq_34382453的博客
12-20 762
摘要   spark的RDD具有延迟计算的特性，spark有两种操作算子，一种是transformation，一种是action。tranformation是来创建RDD的，它有可能从文件创建，也可能集合中创建，也可能依赖其它RDD创建。当算子为transformation的时候，spark并不执行计算操作，只有当遇到action算子的时候才开始计算。这就是transformation的lazy特...
shuffle 调优之原理概述
coderlaw's study
12-23 754
一、什么情况下会发生Shuffle？在spark中，主要是以下几个算子： groupByKey reduceByKey reduceByKey Join 二、什么是shuffle？groupByKey，要把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个executor的一个task中。然后呢，集中一
【Spark调优】：尽量避免使用shuffle类算子
weixin_30263073的博客
03-11 412
　　如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他...
shuffle类算子及其弊端
自律
12-09 863
尽量避免使用shuffle类算子 　　如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他节点需要通过网络传输拉取各个节点上的磁盘文件中的相同key。而且相同key都拉取到同一个节点
SparkTransformation和Action算子速查表.zip
07-06
此外，尽可能使用Transformation算子来保持延迟执行的优点，同时谨慎使用Action算子，以避免不必要的计算或内存压力。 在实际开发中，结合使用Transformation和Action算子，可以构建出复杂的数据处理流程。这份速...
Spark大数据处理：技术、应用与性能优化(全)(更多IT教程 微信dtygxmb).docx
08-12
Transformation算子创建新的RDD，而Action算子触发实际的计算并可能返回结果给驱动程序。 Spark的工作机制包括应用执行、调度与任务分配、I/O、通信以及容错等方面。其中，调度系统使用Stage和TaskSetManager来管理...
01-2022年北京大数据面试题汇总.pdf
最新发布
04-14
Transformation算子是惰性的，不会立即执行；Action算子则会触发实际计算。 2. **Shuffle操作**： - Spark中常见的Shuffle操作包括GroupByKey、ReduceByKey、Join等。 - Shuffle操作会导致数据在网络中传输，因此...
Apache Spark RDD面试题
02-19
这些算子的调用会触发相应的操作被执行，其中 `Transformation` 会返回一个新的 RDD，而 `Action` 会触发整个计算流程的执行并返回结果。 #### 五、传入函数的位置与执行 - **知识点**：在调用 RDD 的算子时，通常...
spark-core核心机制PPT讲解
08-20
- 每次遇到Shuffle操作都会产生一个新的Stage。 - 同一个Stage内部的Task之间存在窄依赖关系。 - 不同Stage之间的依赖关系通过Shuffle来实现。 ##### Task调度 - **DAGScheduler**：负责构建有向无环图(DAG)来表示...
spark shuffle算子
dymkkj的专栏
02-24 1219
MapReduce 基于MapReduce编程思想的spark运行程序，仍然是以先运行map端程序，将map程序处理的结果溢写到磁盘，然后执行reduce端程序进行shuffle操作，对map端处理结果进行处理，得到最终结果。 spark driver端将程序创建成job后，通过DAGSchduler将其转换为DAG，然后根据shuffle算子，将其切分为多个stage，stage保证多个任务，形...
spark中哪些算子会导致shuffle
hzp666的博客
06-15 4864
spark中会导致shuffle操作的有以下几种算子、 1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等 2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等 3、join类的操作：比如join、cogroup等 重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内 byKey类
Spark 常用Shuffle算子汇总
sixgold的博客
04-20 1971
Spark Shuffle算子汇总一、去重二、聚合三、排序四、重分区五、集合或者表操作 我们在写spark时候，shuffle算子我们格外小心，因为shuffle有时候会造成数据倾斜问题，那么我们在编写代码时，要十分清楚哪些是shuffle算子，在后续排查问题时能够快速定位。 一、去重 def distinct() def distinct(numPartitions: Int) 二、聚合 de...
Spark中的Shuffle算子
SunnyRivers
10-29 2842
官网的话 什么是Shuffle In Spark, data is generally not distributed across partitions to be in the necessary place for a specific operation. During computations, a single task will operate on a single partiti...
spark shuffle特点和导致shuffle的算子
萧念的博客
03-01 5139
Spark Shuffle操作的两个特点 第一个特点， 在Spark早期版本中，那个bucket缓存是非常非常重要的，因为需要将一个ShuffleMapTask所有的数据都写入内存缓存之后，才会刷新到磁盘。但是这就有一个问题，如果map side数据过多，那么很容易造成内存溢出。所以spark在新版本中，优化了，默认那个内存缓存是100kb，然后呢，写入一点数据达到了刷新到磁盘的阈值之后，就会将...
Spark的Transform算子和Action算子列举和示例
spark的自由牧场的博客
08-22 8304
参考资料：http://www.cnblogs.com/zlslch/p/5723857.html ：http://www.cnblogs.com/liuzhongfeng/p/5285613.htmlSpark 算子概念 Transformation 变换/转换：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从
Spark Shuffle过程理解
Fisher Out Water
03-15 1675
拿reduceByKey举例： 在spark中，数据通常不会为了一个特定的操作而分布在特定的分区partitions。在计算过程中，一个task只会在一个partition分区上执行，因此，为了把所有的数据组织到一个reduce task （例如reduceByKey）中执行，Spark需要执行一个all-to-all操作，该操作需要读取所有partition上key value的值，然后将
[Spark基础]-- spark的transformation和action算子(基本操作)
欢迎来到我的博客，一起探索代码里的世界！
08-23 2756
一、transform操作 1、map(func)  返回一个新的分布式数据集，由每个原元素经过func函数处理后的新元素组成  2、filter(func)  返回一个新的数据集，由经过func函数处理后返回值为true的原元素组成  3、flatMap(func)  类似于map，但是每一个输入元素，会被映射为0个或多个输出元素，(因此，func函数的返回值是一个seq，而不是单一元素)  4...
Spark优化(四)：尽量避免使用shuffle类算子
Winner941112的博客
09-29 4238
尽量避免使用shuffle类算子 如果有可能的话，要尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，简单来说，就是将分布在集群中多个节点上的同一个key拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key...
transformation算子与action算子的关系
07-13
在Spark中，Transformation算子和Action算子是两种不同的操作类型，它们在RDD上执行不同的操作，并且它们之间有一些关系。 Transformation算子是一种惰性操作，它们不会立即执行，而是返回一个新的RDD。这些算子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值