SparkSQL中的Sort实现（一）

最新推荐文章于 2024-05-16 22:05:01 发布
最新推荐文章于 2024-05-16 22:05:01 发布
阅读量9.5k 收藏 3
点赞数 1
分类专栏： Spark 大数据畅谈 文章标签： sparksql sort 大数据 spark 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asongoficeandfire/article/details/53728182
版权

引言

Sort操作也是SQL中常用的操作，一般来说，Sort操作在SQL语句中有两种体现，即Sort by和Order by。这两种的区别是前者是针对分区内排序，而后者是对全表进行一个排序。那有的人问了，全表排序可以理解，那分区排序针对于什么场景呢？通常是在SQL语句中搭配distributed by一起使用，先将表按照某些字段进行分区，然后在分区内进行排序，能够很好的看清分区内的数据分布。

Sort by和Order by

SparkSQL中也不例外，Sort by和Order by这两种语法均支持。而Sort by仅作为分区内排序，是Order by排序过程的一部分。即Order by先针对数据按照字段进行分区，再在每个分区内对数据进行排序（即Order by的操作）。表示成图如下：


如上图，第一个红色箭头表示按照顺序重分区，保证第n-1个分区内的数据在排序上前于第n个分区内的数据。第二个红色箭头是分区内排序，即对第n个分区，保证第m-1个元素在顺序上早于第m个元素。经过这两个步骤之后，就能保证全表是一个有序的集合了。

而Sort by只进行第二个步骤，即只保证分区内的数据有序。

顺序分区的实现

通常进行shuffle，Partitioner按照hash co

最低0.47元/天 解锁文章
狗叔
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SQL理论知识第一部分
数据分析师
09-05 933
1、hive sql中空字符串和null 2、hive sql中order by、sort by、distribute by、cluster by用法 3、连接查询中，on和where条件含义
hive中SQL排序两种方法（order，sort）
huangchunqq的博客
08-30 1465
1.order by 对查询结果进行全局排序，所有数据通过reducer进行数据处理，数据量少使用效果更好，数据量庞大使用sort by。2.sort by 只会在每个reducer中对数据进行排序，执行局部排序。
SparkSql数组Array常用函数
最新发布
zwlll19900607的专栏
05-16 578
说明：将一个数组转换成一个字符串，元素之间用 delimiter 分隔，如果有 null 值则用 nullReplacement 替代,如果没有设置nullReplacement过滤掉说有null值。说明：将一个数组拆分成多行，每行包含一个数组元素。说明：对一个数组进行排序,array_sort升序排序，sort_array可指定升降序，true为升序，false为降序。说明：返回两个数组的交集，即包含在两个数组中的所有元素。说明：将两个数组合并成一个新的数组，不包含重复元素。说明：返回一个数组的长度。
SQL之Sort的组合查询
简约不简单
08-07 3630
当我们进行sql排序时，往往会遇到多个排序同时进行的需求。   以下面的表格为例 FirstName | LastName | YearOfBirth ---------------------------------------- Thomas | Alva Edison |1847 Benjamin | Franklin |1706 Thomas...
Spark SQL作业统计并输出前十名学生成绩并排序
qq_62127918的博客
04-29 1089
Spark SQL作业统计并输出前十名学生成绩并排序
SparkSQL中4个排序的区别
weixin_41008393的博客
01-28 1711
ORDER BY和SORT BY和DISTRIBUTE BY和CLUSTER BY的区别
SparkSQL中的Sort实现（二）
doggggggggggggggggggggggggggggggggggggie的专栏
03-12 4162
SparkSQL中的Sort实现二 用到的数据结构 UnsafeInMemorySorter UnsafeExternalSorter prefix comparator record comparator 数据的插入 prefix computer 数据插入 数据的排序 无spill radix sort Tim sort 有spill 后记SparkSQL中的Sort实现（二）上节说到Spark
JS中使用sort结合localeCompare实现中文排序实例
10-25
主要介绍了JS中使用sort结合localeCompare实现中文排序实例,重点介绍localeCompare函数,需要的朋友可以参考下
详解Matlab中 sort 函数用法
09-02
在 MATLAB 中，`sort` 函数是一个非常实用的工具，用于对数组进行排序。下面将详细解释 `sort` 函数的各个用法及其参数。 ### 1. 基本用法：`B=sort(A)` 这个基本形式的 `sort` 函数用于对一维或二维数组进行升序...
js模拟实现Array的sort方法
10-30
JavaScript中的Array对象提供了一个内置的`sort()`方法，用于对数组中的元素进行排序。默认情况下，`sort()`方法按照字符编码顺序（ASCII值）对数组元素进行升序排列。例如，给定数组`[6,7,9,1,-1]`调用`sort()`后，...
详解python中sort排序使用
09-19
主要介绍了python中sort排序使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
YOLOv8与DeepSORT实现目标追踪
04-18
为了解决这些问题，可以借助跟踪器 DeepSORT 以及检测器 YOLO v8，从而构建一个高性能的实时多目标跟踪模型。 参考博客：https://blog.csdn.net/matt45m/article/details/134237238#comments_32297294
sort命令
Andrew's Blog
07-09 3488
sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1 sort的工作原理 sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txt banana apple pear orange [rocrocket@rocrocket programming]$ sort seq.txt apple ba
Spark示例之数组排序
技术笔记
02-26 3514
数组排序是一个常见的操作。基于比较的排序算法其性能下限是O(nlog(n))，但在分布式环境下面我们可以并发，从而提高性能。这里展示了Spark中数组排序的实现，并分析了性能，同时尝试找到导致性能提升的原因。
Spark之自定义排序
m0_48111425的博客
08-15 335
需求 使用rdd的sortBy或sortByKey方法进行排序，实现根据需求实现灵活的排序规则，在给定的数据中，有三个字段，分别是： 姓名,年龄,颜值。先按照颜值的从高到低进行排序，如果颜值相等，再按照年龄的升序排序 数据 "laozhao,18,999.9", "laoduan,40,99.99", "hangge,28,99.99" 实现方式 方式一: 将数据封装到自定义的普通的class中，实现comparable接口， 并且要实现序列化接口，因为shuffle数据先写磁盘
sparksql 中的concat_ws 和sort_array 和collect_list的使用方法
m0_69097184的博客
10-08 2111
`concat_ws`用于将多个字符串连接成一个以指定分隔符分隔的单个字符串。- 语法：`concat_ws(separator, str1, str2, ...)`- 示例：```sql```结果将是一个字符串："apple,banana,cherry"
sql
pergoods的博客
08-05 112
-- Create table create table Z_ENT_HAIKOU_SHOP ( SHOP_ID CHAR(32) not null, SITE_ENT_ID CHAR(32), PLATFORM_CODE CHAR(3), SHOP_NAME VARCHAR2(300), SHOP_ADDRESS VARCHAR2(30...
每天学习笔记系列-HIVE SQL : ORDER BY 与 SORT BY
K@HONG的博客
10-23 4795
之前一直没太关注 order by 和sort by的区别，今天看了下。   首先 ，如果在 严格模式下直接使用order by 会报错，必须加上 LIMIT关键字; In strict mode, if ORDER BY is specified, LIMIT must also be specified. set hive.mapred.mode=nonstrict;  #或者将...
sparksql两表join关联的五种方式实现及原理
06-28
### 回答1： SparkSQL两表join关联的五种方式实现及原理： 1. Shuffle Hash Join：将两个表的join key进行hash分区，然后将相同hash值的数据分配到同一个节点上进行join操作，最后将结果进行合并。这种方式适用于数据量较小的情况。 2. Broadcast Hash Join：将小表的数据广播到所有节点上，然后将大表的数据进行hash分区，将相同hash值的数据分配到同一个节点上进行join操作，最后将结果进行合并。这种方式适用于小表和大表join的情况。 3. Sort Merge Join：将两个表的数据进行排序，然后按照join key进行合并。这种方式适用于数据量较大的情况。 4. Broadcast Nested Loop Join：将小表的数据广播到所有节点上，然后将大表的数据进行遍历，对于每一条数据都与小表进行join操作。这种方式适用于小表和大表join的情况。 5. Shuffle Sort Merge Join：将两个表的数据进行hash分区，然后将相同hash值的数据分配到同一个节点上进行排序，最后按照join key进行合并。这种方式适用于数据量较大且需要排序的情况。 ### 回答2： SparkSQL是Spark的一个模块，它提供了对结构化和半结构化数据的高效分布式处理能力。在SparkSQL中，join是最重要的关联操作之一，SparkSQL提供了五种不同的表关联方式，分别是：Nested Loop Join、Broadcast Join、Sort Merge Join、Shuffle Hash Join和Shuffle Sort Merge Join，下面将分别介绍这五种join操作的实现及其原理。 1. Nested Loop Join Nested Loop Join是最基本的join方式，它通过嵌套循环遍历两个表中的所有记录，适用于小数据集和相对不复杂的查询。但是，因为其时间复杂度为O(n^2)，在大数据集下效率很低。 2. Broadcast Join Broadcast Join适用于一个表很小，可以全部放入内存中。采用广播变量的方式将小表的数据复制到所有的Executor节点，然后通过map端的connect，将小表和大表进行join操作。由于广播变量的数据存储在Executor的内存中，所以能够消除shuffle过程带来的网络消耗。看似是一种很好的join方式，但是如果小表过大（超过内存容量），广播变量将会成为瓶颈，所以使用时需要谨慎。 3. Sort Merge Join Sort Merge Join首先要把两个参与join的表按照连接字段排序，并通过shuffle操作将数据分配到不同的Executor上。然后再在各自的Executor节点上进行join操作。这种join操作适合大表join，它的局限性为需要进行shuffle操作，这可能是SparkSQL处理代价最大的操作，会给整个应用带来大量的数据复制和传输负载。 4. Shuffle Hash Join Shuffle Hash Join是通过将大表中的数据切分成若干个Partition，并将小表中的数据通过Hash算法分到不同的Partition中，将所有分到同一个Partition的数据进行join操作。其优点在于避免了Sort Merge Join的排序操作，但代价是需要大量计算Hash函数，可能会占用开销较大的计算资源，并且有些Partition中数据可能会对单个Executor节点消耗过大的内存。 5. Shuffle Sort Merge Join Shuffle Sort Merge Join是Sort Merge Join和Shuffle Hash Join的综合体，它对数据进行切分，再按照连接键进行排序，并且使用Hash算法将小表数据分配到对应的Partition。然后再在每个Partition上使用Sort Merge Join算法进行join操作。该算法既兼顾Sort Merge Join的高效性，又兼顾Shuffle Hash Join的低内存占用，但在处理大表时的性能也会受到shuffle操作的影响。 总之，以上五种join方式都各有利弊，选择哪种方式取决于数据量、内存容量、计算资源及SparkSQL应用的实际情况。 ### 回答3： Spark SQL是Spark中处理结构化数据的主要库，可以实现像SQL一样的查询和操作。其中，join操作是最常见的操作之一。Spark SQL支持五种不同的join操作来关联两个表：inner join、left outer join、right outer join、full outer join和cross join。本文将为大家介绍这五种操作的实现原理。 1. Inner Join（内连接） 内连接是最简单的连接方式。它指的是将两个表中共有的数据合并起来，并且只返回匹配的行。在Spark SQL中，可以使用join或者joinWith函数完成inner join操作。join函数用于连接两个DataFrame或Dataset，joinWith函数用于更严格的连接。它将两个表中的相同字段并排放置，然后执行自定义操作。实现内连接操作的原理是使用了分布式并行计算，通过shuffle操作将两个数据集根据指定的字段进行分区，并运行在这些分区上进行join操作，最后将结果合并起来，得到新的数据集。 2. Left Outer Join（左外连接） 左外连接也叫左连接，指的是将左表中所有行与右表中符合条件的行组成的集合合并起来。如果右表中没有匹配的行，则在输出结果中将显示null。在Spark SQL中，可以使用left_join函数完成left outer join操作。实现左外连接操作的原理与内连接相似，只不过在这种情况下，Spark会对左边的表数据进行全局排序，在对右表数据进行局部排序，以减少排序的成本。然后，Spark基于分布式计算原理对这两个数据集进行分区，根据指定字段进行join操作，并将结果合并起来得到新的数据集。 3. Right Outer Join（右外连接） 右外连接也叫右连接，是左外连接的倒置版，指的是将右表中的所有行与左表中符合条件的行组成的集合合并起来。如果左表中没有匹配的行，则在输出结果中将显示null。在Spark SQL中，可以使用right_join函数完成right outer join操作。实现右外连接操作的实现原理和左外连接类似。 4. Full Outer Join（全外连接） 全外连接又称全连接，指的是将两个表中所有的行都合并在一起，不管是否匹配。如果左表或右表中没有匹配的行，则在输出结果中会显示null。在Spark SQL中，可以使用crossJoin函数完成full outer join操作。实现全外连接操作的原理是将两个表中的数据集进行分区，然后对每个分区上进行join操作，并将结果合并起来得到新的数据集。 5. Cross Join（交叉连接） 交叉连接是指将左表中的每一行都与右表中的每一行进行配对组合，不需要任何谓词或过滤条件。交叉连接的结果集中行数等于左表行数与右表行数的乘积。在Spark SQL中，可以使用crossJoin函数完成cross join操作。实现交叉连接操作的原理是将两个表中的数据集进行笛卡尔积，并将结果集合并起来得到新的数据集。 综上所述，Spark SQL中五种join操作的实现原理基本相同，也都是通过shuffle或者分区操作对两个数据集进行分片，然后在指定的字段上进行join操作，最后将结果合并起来得到新的数据集。不同之处在于它们的返回结果及操作的方式。在实际操作中，需要根据具体的业务需求，选择合适的join方式来完成相应的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值