Spark中普通集合与RDD算子的sortBy()有什么区别

最新推荐文章于 2023-12-06 07:40:44 发布
最新推荐文章于 2023-12-06 07:40:44 发布
阅读量312 收藏
点赞数
分类专栏： 踩坑记录 spark scala 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dtft_/article/details/115298205
版权
踩坑记录 同时被 3 个专栏收录
46 篇文章 0 订阅
订阅专栏
scala
8 篇文章 1 订阅
订阅专栏
spark
5 篇文章 0 订阅
订阅专栏
本文探讨了如何在Python中利用List的sortBy方法实现默认升序排列，并介绍如何通过添加负号或reverse()方法实现降序排列。特别关注了普通集合与RDD算子sortBy的区别，以及在没有false参数情况下处理降序需求的方法。
摘要由CSDN通过智能技术生成

分别观察一下集合与算子的sortBy()的参数列表

  • 普通集合的sortBy()
    在这里插入图片描述
  • RDD算子的sortBy()
    在这里插入图片描述
    结论：普通集合的sortBy就没有false参数，也就是说只能默认的升序排。

如果需要对普通集合中的元素需要降序排怎么办？

在这里插入图片描述

  • 如图所示，我这调用的sortby()是List集合的方法了，不是算子，所以不能加false参数指定降序排，只能默认的升序排了，但是用reverse()反转就能达到一样的效果。
  • 使用takeRight()方法取后十个也一样，注意的是后十个也是按升序排的
  • 最简单的一种方法，在参数前加一个负号
    在这里插入图片描述
孙晨c
关注
专栏目录
Spark 算子之sortBy使用
congge_study的博客
04-23 2020
Spark 算子之sortBy使用
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
Spark rdd之sortBy
南风知我意
10-15 2348
从sortBy函数的实现可以看出，第一个参数是必须传入的，而后面的两个参数可以不传入.而且sortBy函数函数的实现依赖于skeyBy和sortByKey函数，后面会进行说明
Spark中RDD的sortBy排序的5种实现方法
muyingmiao的专栏
09-27 9922
在RDD，ortBy可以指定对键还是value进行排序，sortBy可以通过下面5中方式实现排序 假如数据的格式如下，list中元素中分别为名称、单价、数量，字符之间用空格连接，要实现按照单价和数量降序 val products = sc.parallelize(List("A 100 10","B 200 20","C 200 30","D 400 30")) 1.通过Tuple方式，按照...
Spark: sortBy和sortByKey函数详解
hellojoy的博客
07-23 1万+
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说...
图解Spark排序算子sortBy的核心源码
最新发布
朱季谦
12-06 1466
图解Spark排序算子sortBy的核心源码
【SparkCore篇03】RDD行动算子1
08-04
在Spark中，RDD（Resilient Distributed Datasets）是基本的数据抽象，它是不可变、分区的记录集合，可以在集群的不同节点上并行操作。本篇主要讲解RDD的行动算子，包括`reduce`、`collect`、`count`、`first`、`...
Spark常用的算子以及Scala函数总结.pdf
05-17
在 Spark 中，数据以弹性分布式数据集（RDD）的形式存在，RDD 是 Spark 的核心数据结构，它是一个不可变的分布式对象集合，能够在节点之间进行有效的容错处理。 Spark 算子大致分为两类：Transformation 算子和 ...
【SparkCore篇02】RDD转换算子1
08-04
5. **groupBy()**：groupBy算子用于根据某个函数的结果对RDD中的元素进行分组。它会返回一个键值对的RDD，其中键是函数的返回值，值是原始RDD中所有对应键的元素组成的集合。比如，我们可以按照数值的奇偶性进行分组...
Spark核心RDD：Sort排序详解
热门推荐
Javis486的专栏
10-26 4万+
1.sortByKey 无可非议sortByKey是Spark的最常用的排序，简单的案例暂且跳过，下面给一个非简单的案例，让我进入排序之旅 对下面简单元祖，要求先按元素1升序，若元素1相同，则按元素3升序 (1, 6, 3), (2, 3, 3), (1, 1, 2), (1, 3, 5), (2, 1, 2) 给出如下提示：sortByKey对于key是单个元素排序很简单，如果key
spark中的排序算子sortBy和sortByKey
zyc2913的博客
09-29 1713
package com.zyc.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * Created with IntelliJ IDEA. * Author: zyc2913@163.com * Date: 2020/9/27 20:07 * Version: 1.0 * Description:排序相关的算子的应用 */ object StudySort { de.
SparkRDD算子--sortBy算子
寒暄的博客
07-31 1259
语法 val newRdd = oldRdd.sortBy(func,[ascending], [numTasks]) 源码 def sortBy[K](f : scala.Function1[T, K], ascending : scala.Boolean = { /* compiled code */ }, numPartitions : scala.Int = { /* compiled code */ })(implicit ord : scala.Ordering[K], ctag : scala
Spark中普通集合与RDD算子的zip()拉链有什么区别
Sun's Blog
03-29 401
集合中的zip： 如果两个集合的元素个数不相等，那么会将同等数量的数据进行拉链，多余的数据省略不用 RDD算子的zip： 该操作可以将两个RDD中的元素，以键值对的形式进行合并。其中，键值对中的Key为第1个RDD中的元素，vaue为第2个RDD中的元素。 不同于集合中的zip()方法，将两个RDD组合成 Key/value开式的RDD，这里默认两个RDD的partition数量以及元素数量都相同，否则会抛出异常。 ...
RDD基础
松花酿酒的博客
10-09 249
                                                RDD基础 一、RDD基本特征 1.RDD是一个基本的抽象，操作RDD就像操作本地集合一样，降低了编程的复杂度。     A Resilient Distributed Dataset (RDD), the basic abstraction in Spark。 弹性的 可恢复的 分布式的 数据...
大数据：Spark 算子（一）排序算子sortByKey来看大数据平台下如何做排序
沧海一粟
06-26 8996
1 前言在前面一系列博客中，特别在Shuffle博客系列中，曾今描述过在生成ShuffleWrite的文件的时候，对每个partition会先进行排序并spill到文件中，最后合并成ShuffleWrite的文件，也就是每个Partition里的内容已经进行了排序，在最后的action操作的时候需要对每个executor生成的shuffle文件相同的Partition进行合并，完成Action的操
Spark排序之SortBy
haijiege的专栏
07-06 4518
sortBy函数源码：接收三个参数，第一个参数必须，第二个和第三个参数非必要def sortBy[K](       f: (T) => K,       ascending: Boolean = true,       numPartitions: Int = this.partitions.length)       (implicit ord: Ordering[K], ctag: C...
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
dai451954706的专栏
09-23 3万+
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
Spark RDD 算子详解：实现原理与执行流程分析
RDD 算子是 Spark 中的一种基本操作单元，用于处理和转换 RDD 数据。下面是 Spark 1.4.1 中一些常用的 RDD 算子和它们的实现原理。 1. take(num: Int)：take 算子用于从 RDD 中取出指定数量的元素。其实现原理是，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙晨c

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值