spark笔记（2）——sortByKey()算子为何会触发job

最新推荐文章于 2024-07-21 21:43:54 发布
最新推荐文章于 2024-07-21 21:43:54 发布
阅读量1k 收藏 2
点赞数
分类专栏： spark 文章标签： spark sortByKey() job
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/incredibleWu/article/details/100025322
版权
  • 问题

    在执行spark任务中，发现sortByKey()算子会触发一个新的job

 

但在spark中，sortByKey()算子归属于Transformations列表中，而只有当算子是action的时候，才会触发新的job，那么sortByKey()为何会触发新的任务呢？让我们去看看sortByKey()的算子源码。。。。

 

原因很明确了，因为在sortByKey()算子中，会调用collect或者save方法，从而导致sortByKey()会触发新的任务

 

挪威马天雨
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
srotByKey为什么会触发job
Lu_Xiao_Yue的博客
11-20 488
大家都只知道srotByKey是一个transformation算子，而transformation类型的算子是不触发Job的，但是有心的人会注意到，在我们调用sortByKey这个算子时 ，可以从UI界面看到，sortByKey竟然会触发Job 其实sortByKey 在执行时会对分区中的数据进行取样，把取样的数据再进行收集（collect），那么此时就会触发一个Job,具体的原因可以往下看源码...
Spark中 sortByKey被划分到transformation中，却有action操作原因
chbxw
09-12 1254
今天跑一个任务， 在spark history Web UI中，sortByKey会触发一个job ？？？sortByKey不是transform吗？ 原因： Spark的sortBy，sortByKey会触发一个新的任务，这个Job是用于评估数据分布，评估结果用于后续的排序操作，并不是真正的排序操作。...
sortBy如何排序和如何触发Action
weixin_48109576的博客
08-17 1129
在sortby中默认传入排序规则是 ascending true.升序 第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的 第三个参数是numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。 有一个隐士转换,可以导入隐士转换也可以按照元组进行排序 val value1: RDD[(String, Int, Double)] = value.sortBy(x =&...
Spark中 转换算子sortBy和sortByKey中为何会触发Action
是故事啊~关注我~
04-09 624
sortBy 该函数会对原数据进行Shuffle操作，里面用到了RangePartitioner
spark之sortBy分区数
weixin_42307036的博客
12-21 1958
spark的sortBy既是转换算子又是行动算子。 scala> sc.makeRDD(1 to 5, 2).sortBy(x=>x, false, 4) res11: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[13] at sortBy at <console>:25 对应的UI界面是 可以看到出现了一个job，而行动算子才会产生job。点进job去之后，看到下幅图。 从图中可以看出，sortBy排序后产生的RDD的分区数
Spark基础知识(个人总结)
hellosrc的博客
12-18 5474
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
Python学习笔记——大数据之Spark简介与环境搭建
01-27
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。 核心组件如下： SparkCore：包含Spark的基本功能；尤其是...
【Spark研究】极简 Spark 入门笔记——安装和第一个回归程序
06-20
Spark 基础知识点总结 Spark 是一个快速的集群运算平台，以及一系列处理大型数据集的工具包。它最显著的特点就是处理大型数据的能力。 一、Spark 的安装和配置 Spark 的安装和配置其实可以是异常简单的。只需要...
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们...（如有任何纰漏欢迎补充来踩，我会第一时间改正^v^）用sparkstreaming流式处理kafka中的数据，第一步当然是先把数据接收过来，
Spark Sort-Based Shuffle内幕彻底解密
kxr0502的博客
02-01 3507
Spark Sort-Based Shuffle内幕彻底解密 本期内容： 1 为什么使用Sort-Based Shuffle 2 Sort-Based Shuffle 实战 3 Sort-Based Shuffle 内幕 4 Sort-Based Shuffle的不足 一、为什么需要Sort Based Shuffle
大数据：Spark 算子（一）排序算子sortByKey来看大数据平台下如何做排序
沧海一粟
06-26 8939
1 前言在前面一系列博客中，特别在Shuffle博客系列中，曾今描述过在生成ShuffleWrite的文件的时候，对每个partition会先进行排序并spill到文件中，最后合并成ShuffleWrite的文件，也就是每个Partition里的内容已经进行了排序，在最后的action操作的时候需要对每个executor生成的shuffle文件相同的Partition进行合并，完成Action的操
Spark实战(二)Spark常用算子
钟晚语夕的专栏
12-13 1522
一、算子分类    从大方向来说，Spark 算子大致可以分为以下两类:     1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。    Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。    2）Action 行动算...
spark中的排序算子sortBy和sortByKey
zyc2913的博客
09-29 1661
package com.zyc.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created with IntelliJ IDEA. * Author: zyc2913@163.com * Date: 2020/9/27 20:07 * Version: 1.0 * Description:排序相关的算子的应用 */ object StudySort { de.
Spark job 的触发
zhixingheyi_tian的博客
11-16 637
判断是RDD action的操作的一个标志是 其函数实现里得有 sc.runJob
一文搞定Spark的job触发机制
LMR的博客
05-09 6178
Spark的job触发机制1.Spark运行的基本概念1.1 Driver1.2 Cluster Manager1.3 Executor1.4 Worker2. Spark Job触发机制2.1 Job的逻辑执行2.2 Job的物理执行3. Job触发流程源代码解析 1.Spark运行的基本概念 本博客讲解的内容都是基于Spark的Standalone部署模式。在Standalone部署模式下， Spark比在YARN和Mesos更容易使用，因为不需要其他的东西。如果是基于Spark来处理数据，基本上一个S
关于Spark中 sortByKey被划分到transformation中，却有action操作原因
chuhui1765的博客
08-31 192
注意有可能会成为面试题。 在Spark 1.4 中 关于sortByKey 源码如下： /** * Sort the RDD by key, so that each partition contains a sorted range of the ...
Spark SQL----GROUP BY子句
Gabriel Wang的博客
07-20 1151
GROUP BY子句用于根据一组指定的分组表达式对行进行分组，并根据一个或多个指定的聚合函数计算行组上的聚合。Spark还支持高级聚合，通过GROUPING SETS、CUBE、ROLLUP子句对同一输入记录集进行多个聚合。分组表达式和高级聚合可以混合在GROUP BY子句中，也可以嵌套在GROUPING SETS子句中。请参阅Mixed/Nested Grouping Analytics部分中的更多详细信息。当FILTER子句附加到聚合函数时，只有匹配的行被传递给该函数。
【Spark官方文档部分翻译】RDD编程指南（RDD Programming Guide）
最新发布
petrel2015的博客
07-21 1069
Spark官方RDD编程指南翻译及总结
请用java,scala,python三种语言实现spark的sortByKey算子的案例
04-06
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值