Spark中 sortByKey被划分到transformation中，却有action操作原因

最新推荐文章于 2021-09-02 16:03:27 发布
最新推荐文章于 2021-09-02 16:03:27 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： # spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuxintdrh/article/details/82655791
版权

今天跑一个任务， 在spark history Web UI中，sortByKey会触发一个job

这里写图片描述

？？？sortByKey不是transform吗？

原因： Spark的sortBy，sortByKey会触发一个新的任务，这个Job是用于评估数据分布，评估结果用于后续的排序操作，并不是真正的排序操作。
这里写图片描述

宝哥大数据
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-Transformation和Action算子.md
08-09
**Action** 是 Spark 中的另一种操作类型，与 Transformation 不同的是，Action 会立即执行计算。下面介绍几个常用的 Action 操作。 ##### 2.1 reduce `reduce` 函数用于对 RDD 中的所有元素应用一个特定的操作，...
spark笔记（2）——sortByKey()算子为何会触发job
incredibleWu的博客
08-22 1035
问题 在执行spark任务中，发现sortByKey()算子会触发一个新的job 但在spark中，sortByKey()算子归属于Transformations列表中，而只有当算子是action的时候，才会触发新的job，那么sortByKey()为何会触发新的任务呢？让我们去看看sortByKey()的算子源码。。。。 原因很明确了，因为在sortByKey()...
Spark中 转换算子sortBy和sortByKey中为何会触发Action
是故事啊~关注我~
04-09 633
sortBy 该函数会对原数据进行Shuffle操作，里面用到了RangePartitioner
sortBy如何排序和如何触发Action
weixin_48109576的博客
08-17 1151
在sortby中默认传入排序规则是 ascending true.升序 第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的 第三个参数是numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。 有一个隐士转换,可以导入隐士转换也可以按照元组进行排序 val value1: RDD[(String, Int, Double)] = value.sortBy(x =&...
Spark分区器HashPartitioner和RangePartitioner/全局排序
ThreeAspects的博客
05-07 1494
  在Spark中分区器直接决定了RDD中分区的个数，RDD中每条数据经过Shuffle过程属于哪个分区以及Reduce的个数。只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。   在Spark中，存在两类分区函数：HashPartitioner和RangePartitioner，它们都是继承自Partitioner，主要提供了每个RDD有几个分...
关于Spark中 sortByKey被划分到transformation中，却有action操作原因
chuhui1765的博客
08-31 198
注意有可能会成为面试题。 在Spark 1.4 中 关于sortByKey 源码如下： /** * Sort the RDD by key, so that each partition contains a sorted range of the ...
Spark Transformation和Action算子速查表.pdf
05-17
在Spark中，数据通常以RDD（弹性分布式数据集）的形式存在，并通过两种类型的算子进行处理：Transformation（转换）算子和Action（行动）算子。 **Transformation算子**：这些算子用于创建一个新的RDD。它们的操作...
如何在 Spark 中使用算子来处理数据
最新发布
03-14
**Spark 算子**是 Spark 处理大规模数据的核心接口之一，主要分为两大类：转换算子（Transformation）和行动算子（Action）。这两类算子协同工作，帮助用户高效地处理大规模数据集。 ### 转换算子（Transformation...
Spark学习笔记之Spark中的RDD的具体使用
08-25
* Transformations：转换操作，Transformation是lazy的，不会马上执行， 只有当调用action时才会执行。 * Actions：动作。 * SparkEnv：线程级别的上下文，存储运行时的重要组件的引用。 知识点五：创建RDD的两种...
java-spark中各种常用算子的写法示例
08-27
Spark 中的算子可以分为两大类：Transformation 变换/转换算子和 Action 行动算子。Transformation 算子并不触发提交作业，完成作业中间过程处理，而 Action 算子会触发 SparkContext 提交 Job 作业。 在 Java 中...
Spark: sortBy和sortByKey函数详解
sdujava2011
07-22 6250
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进
spark关于分区和sortBy的学习
hua_jing的专栏
11-17 1746
学习目的首次学习spark时，对分区没有直观的了解，在使用sortBy方式时也不能得预期的结果，通过实践了解spark分区和sortBy的原理SparkContext 的配置val conf = new SparkConf().setAppName(getAppName).setMaster("local[4]") val sc = new SparkContext(conf)master设置为：l
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
热门推荐
dai451954706的专栏
09-23 3万+
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
Spark:调用sortByKey时，不能正常排序
风一样的少年
09-02 577
wordcount文件的内容 最开始的部分代码如下 val inputRdd:RDD[String] = sc.textFile("/sparkData/wordcount") val resultRdd = inputRdd.flatMap(x => x.split("\\s+")) .map(x=>(x, 1)). reduceByKey((tmp, item) => tmp + item) resultRdd.foreach(x =&gt
【Spark Java API】Action(4)—sortBy、takeOrdered、takeSample
小飞侠的专栏
08-20 5143
spark java api...
Spark分区方式详解
杜海的博客
12-25 1371
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。...
spark sortBy sortByKey实战详解
bitcarmanlee的博客
08-27 9150
日常工作中，排序是道绕过不过去的侃，我们每天都会面对各种各样的排序需求。那么在spark中如何排序呢？我们来看一些很有代表性的例子。 1.最简单的排序 假设有个RDD[Int]类型的数据，需要按数据大小进行排序，那这个排序算最简单的： sc.parallelize(Array(1,3,2,4,6,5)).sortBy(x => x).collect() 代码运行的结果： ...
spark中sortByKey后存储为单个文件
D
05-10 1191
需求：最近需要统计hbase中某个表行健的长度，最终按照行健长度排序，提取出数据样式如下，rowkey和长度按照“,”分割： rowkey 长度 http:http://www.ccps.gov.cn/ 28 http:http://www.ccps.gov.cn/ 28 1.23.168.192:http/ 18 1.23.168.192:http/ 18
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值