SparkSQL中4个排序的区别

最新推荐文章于 2023-08-29 16:18:43 发布
最新推荐文章于 2023-08-29 16:18:43 发布
阅读量1.7k 收藏 3
点赞数 2
分类专栏： spark hive 文章标签： 大数据 spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41008393/article/details/128778834
版权

常用的四个排序BY

  1. ORDER BY
  2. SORT BY
  3. DISTRIBUTE BY
  4. CLUSTER BY

此文只是结合官方文档和案例做一下说明下功能

数据集描述 

数据如上所示,并手动将分区数设定在2个,默认以 id 字段作为分区依据

原始数据分布

情况如下

 相同id的数据都分到了同一个分区内

ORDER BY子句

官网说明: ORDER BY Clause - Spark 3.3.1 Documentation

简述: order by保证了输出的全局有序，通常用于返回结果数据时使用

在使用 [ ORDER BY id ] 的情况下的分布情况

 可以看到数据分区数不变,并且整体以id来做升序处理的

SORT BY子句

官网说明： SORT BY Clause - Spark 3.3.1 Documentation

简述: sort by是用于在每个分区内部做排序

在使用 [ sort by age ] 的情况下的分布情况

可见它与原始数据相比,并不影响分区之间的分配情况,仅仅在是每个分区内对每行进行了针对 age字段的升序处理

DISTRIBUTE BY子句

官网说明: DISTRIBUTE BY Clause - Spark 3.3.1 Documentation 

简述: 通常用于根据输入的表达式来对数据进行重分区,分区内不会进行重排序

在使用 [ distribute by age ] 下的分布情况

 很明显的看出，相比原数据集, distribute之后的数据在分布上有了很大的不同,相同age的数据被shuffle到了一个分区内

这个子句也通常可以用于解决分区间数据倾斜的情况

比如使用 distribute by round(rand(100))

就可以让数据随机进入不同的分区来让数据分布均衡

CLUSTER BY子句

官网说明: CLUSTER BY Clause - Spark 3.3.1 Documentation

简述: 有两个操作,首先对数据进行重分区,然后对每个分区内的数据进行排序

语义上等同于 先进行 DISTRIBUTE BY 再进行 SORT BY同一个排序表达式

在使用 [ cluster by age ] 下的数据分布情况

 明显看出数据针对 age字段的值进行了重分区,并且分区内都按age的升序序列来排序

艾斯卡达尔
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sql优化之-------spark实现hql时发现的order by、sort by 性能问题
weixin_39419040的博客
08-12 1272
1.删除分区 ALTER TABLE my_partition_test_table DROP IF EXISTS PARTITION (p_loctype='MHA'); 2.显示分区： show partitions driver_ride_info 3.动态插入分区 insert overwrite table loan_f_milestone partition(day) select *, to_date(atv_tim) 报错日志： Error: Java heap space
distribute by控制分区文件数
Zmc8721的博客
08-24 2525
distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法. 大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况. 背景: 1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql....
Spark 数据倾斜处理
weixin_38251332的博客
03-10 2988
数据倾斜的问题优先从数据源解决，以下方法是辅助缓解： （1）spark-sql任务，可以尝试distribute by () 某个字段或者可以确定唯一维度值（某几个联合字段） （2）参考文档调优： https://blog.csdn.net/lsshlsw/article/details/52025949 （3）数据倾斜的定位方法： 选取key，对数据进行抽样，统计出现的次数，根据出现次数大小排序取出前几个 spark-shell获取数据不均衡的数据 scala>val conf=new SparkC
关于hive on spark的distribute by和group by使用以及小文件合并问题
weixin_43272605的博客
01-25 3611
问题导言 最近在使用hive时，发现一些任务的因为使用mapreduce的缘故，跑的太慢了，才几十个G的数据就经常跑一个多小时，于是有了切换spark的想法。 但是刚刚切换了spark，第二天发现跑出来的数据文件数大大增加，而且每个文件都非常小，导致下游spark任务为了每个小文件都启动一个task，申请资源对于spark来说是非常消耗资源的，任务又大大延迟了。 查了下关于spark合并小文件，目前有几个参数会提供参考。 输入端 set mapred.max.split.size=256000000; 设
SparkSql 控制输出文件数量且大小均匀(distribute by rand())
热门推荐
@羲凡—只为更好的活着
06-20 2万+
@羲凡——只为了更好的活着 SparkSql 控制输出文件数量且大小均匀(distribute by rand()) Q：Spark如何控制文件你输出数量？ A：这个简单，用 coalesce或者repartition，num=(1.0*(df.count())/7000000).ceil.toInt Q：Spark让输出文件大小均匀？ A：在sparksql的查询最后加上distribute b...
每天学习笔记系列-HIVE SQL : ORDER BY 与 SORT BY
K@HONG的博客
10-23 4795
之前一直没太关注 order by 和sort by的区别，今天看了下。   首先 ，如果在 严格模式下直接使用order by 会报错，必须加上 LIMIT关键字; In strict mode, if ORDER BY is specified, LIMIT must also be specified. set hive.mapred.mode=nonstrict;  #或者将...
spark dataframe降序排序
别说话写代码的博客
03-17 2320
package com.dkl.leanring.spark.df import org.apache.spark.sql.SparkSession object DfSortDesc { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("DfSortDesc").master("local").getOrCreate() val data = Array((7,.
SparkSQL入门级教程
06-19
SparkSQL 是 Apache Spark 的一个重要组件，它为处理结构化数据提供了强大的支持。SparkSQL 结合了 SQL 和传统的编程接口，使得开发人员能够方便地在 SQL 和 Scala、Java、Python、R 等语言之间切换。在 SparkSQL 中...
SparkSQL–有必要坐下来聊聊Join
02-25
Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupBy等以及Join操作等。其中Join操作是其中最复杂、代价最大的操作类型，也是OLAP场景...
SparkSQL-DataFrame
最新发布
01-16
在SparkSQL中，DataFrame是一个不可变的数据结构，它是由一系列的列组成，每列都有自己的名字和数据类型。DataFrame的底层实现基于Spark的RDD（弹性分布式数据集）和Dataset，这使得DataFrame具有高度优化的执行计划...
Hive sql 中 order by、sort by、distribute by、cluster by用法
leveretz的博客
06-19 3467
名词解释： order by 　　Hive中的order by和数据库中的order by 功能一致，按照某一项或者几项排序输出，可以指定是升序或者是降序排序。它保证全局有序，但是进行order by的时候是将所有的数据全部发送到一个Reduce中，所以在大数据量的情况下可能不能接受，最后这个操作将会产生一个文件。 sort by 　　sort by只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by 你可以指定执行的reduce个数 （set mapreduce.job.re
避坑:Spark Sql的Order By排序是不稳定的
激进的蜗牛
10-31 4809
目录 问题背景 实验 1- 构建测试用例 2- 执行测试sql 原因 1- 代码定位及问题追踪 2- 单分区设想 结论 问题背景 生产环境数据产品项目出现相同代码多次执行结果不同的问题,经过排查,发现了问题出现在first value的窗口函数返回的结果上.同一批数据执行相同sql返回值不相同. sql类似如下形式: select * ,first_value(s_id) over (partition by c_id order by s_score)first_show f
大数据开发：hive sql 中的4个by排序方法
qq_41804037的博客
05-08 817
与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下必须指定 limit 否则执行会报错（在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n * map number 条记录而已。但是排序只能是升序排序，不能像distribute by一样去指定排序的规则为ASC或者DESC，否则报错。(default value / 默认值)
hive写动态分区加distribute by
stable_zl的博客
08-29 223
在程序的最后，按照动态分区的字段在程序最后加一个distribute by，在本例中，就是加distribute by type, salt，此时就可以保证相同的type 和 salt的数据，会在同一个task中执行，最后输出的文件个数也是在可接受范围内的，输出文件个数为 type * salt * ceil(file_size / 256m)，在本例中，因为每个文件都小于256m，所以生成的文件个数就是4 * 512 * 1 = 2048。
Spark SQL中防止数据倾斜sqlContext.sql中添加distribute by rand()
hjw199089的博客
02-04 1万+
一、在 Spark SQL中有时会因为数据倾斜影响节点间数据处理速度，可在SQL中添加distribute by rand()来防止数据倾斜 val dataRDD = sqlContext.sql( "select A ,B from table your_table distribute by rand() " ) 二、在数据量过大时，若在Spark SQL中 使用
SparkSQL中的Sort实现（一）
doggggggggggggggggggggggggggggggggggggie的专栏
12-18 9511
SparkSQL中同样支持Order by和Sort by两种操作，本篇文章简单介绍Order by的分区间排序。
Spark2.4升级到Spark 3.2后，小文件数增多的问题解决
lilyjoke的专栏
04-18 2013
全部原创，仅做问题分析记录，不涉及任何业务信息。 问题描述 数仓同学报障，说升级了spark3.2后，同样的一组SQL和配置，为什么最终写表的小文件从几个变成了500个，是不是distribute by rand()不生效了... :D Spark 3.2 Spark 2.4 首先问题的确是存在(虽然和distribute by rand()没关系。。。)，最后一个insert操作，原来的分区只有几个，从上游job500个变成了几个，而现在都是500个，进一步分析。 定位和解决 .
Spark SQL作业统计并输出前十名学生成绩并排序
qq_62127918的博客
04-29 1089
Spark SQL作业统计并输出前十名学生成绩并排序
如何避免Spark SQL做数据导入时产生大量小文件
大数据星球-浪尖
03-24 436
什么是小文件？在生产中，我们往往将Spark SQL作为Hive的替代方案，以获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于H...
sparkSql中给温度排序
07-11
要在 Spark SQL 中对温度进行排序，您可以按照以下步骤进行操作： 1. 首先，使用 SparkSession 对象创建一个 DataFrame。您可以从文件、数据库或其他数据源中加载数据。 ```scala val spark = SparkSession.builder() .appName("Spark SQL Example") .config("spark.some.config.option", "some-value") .getOrCreate() val df = spark.read.format("csv") .option("header", "true") .load("path/to/your/file.csv") ``` 2. 然后，将温度列转换为数字类型（如果不是数字类型的话）。 ```scala import org.apache.spark.sql.functions._ val dfWithTemperature = df.withColumn("temperature", col("temperature").cast(DoubleType)) ``` 3. 接下来，使用 `orderBy` 方法按照温度列进行排序。 ```scala val sortedDF = dfWithTemperature.orderBy("temperature") ``` 4. 最后，使用 `show` 方法显示排序后的结果。 ```scala sortedDF.show() ``` 以上代码将按照温度列的升序显示排序后的结果。请将代码中的文件路径和列名替换为您实际的数据文件路径和温度列名。 如果您想按照降序排序，可以修改 `orderBy` 方法： ```scala val sortedDF = dfWithTemperature.orderBy(desc("temperature")) ``` 这样将按照温度列的降序显示排序后的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值