Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0）

Spark SQL 函数解析：排序与聚合函数
最新推荐文章于 2023-12-14 18:02:27 发布
原创 最新推荐文章于 2023-12-14 18:02:27 发布 · 3.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #sql

本文详细解析了Spark SQL中用于排序（包括`asc`、`desc`、`asc_nulls_first`、`asc_nulls_last`等）和聚合的函数，通过实例展示了它们在数据处理中的应用，帮助理解Spark SQL如何处理数据排序和聚合操作。

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

目录

Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（三）Window functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（四）Non-aggregate functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（五）Math Functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（六）Misc functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（七）String functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（八）DateTime functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（九）Collection functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十）Partition transform functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十一）Scala UDF functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十二）Java UDF functions（基于 Spark 3.3.0）

正文

asc

  /**
   * 根据列的升序返回排序表达式。
   * 
   * {{{
   *   df.sort(asc("dept"), desc("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 1.3.0
   */
  def asc(columnName: String): Column = Column(columnName).asc

  /**
   * 根据列的升序返回排序表达式，空值在非空值之前返回。
   * 
   * {{{
   *   df.sort(asc_nulls_first("dept"), desc("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 2.1.0
   */
  def asc_nulls_first(columnName: String): Column = Column(columnName).asc_nulls_first

  /**
   * 根据列的升序返回排序表达式，空值在非空值之后返回。
   * 
   * {{{
   *   df.sort(asc_nulls_last("dept"), desc("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 2.1.0
   */
  def asc_nulls_last(columnName: String): Column = Column(columnName).asc_nulls_last

用法

========== [ df.sort(asc("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc_nulls_first("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc_nulls_last("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
|  David|null|  35|
+-------+----+----+

desc

  /**
   * 根据列的降序返回排序表达式。
   * 
   * {{{
   *   df.sort(asc("dept"), desc("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 1.3.0
   */
  def desc(columnName: String): Column = Column(columnName).desc

  /**
   * 根据列的降序返回排序表达式，空值显示在非空值之前。
   * 
   * {{{
   *   df.sort(asc("dept"), desc_nulls_first("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 2.1.0
   */
  def desc_nulls_first(columnName: String): Column = Column(columnName).desc_nulls_first

  /**
   * 根据列的降序返回排序表达式，空值显示在非空值之后。
   * 
   * {{{
   *   df.sort(asc("dept"), desc_nulls_last("age"))
   * }}}
   *
   * @group sort_funcs
   * @since 2.1.0
   */
  def desc_nulls_last(columnName: String): Column = Column(columnName).desc_nulls_last

用法

========== [ df.sort(asc("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc("dept"), desc_nulls_first("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Joan|  PD|null|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
+-------+----+----+

========== [ df.sort(asc("dept"), desc_nulls_last("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

实践

数据

employees.csv
Alan,PD,30
Bob,HR,28
Bruce,PD,24
Charles,ED,34
David,,35
Joan,PD,

代码

package com.shockang.study.spark.sql.functions

import com.shockang.study.spark.util.Utils.formatPrint
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

/**
 *
 * @author Shockang
 */
object SortFunctionsExample {

  val DATA_PATH = "/Users/shockang/code/spark-examples/data/simple/read/employees.csv"

  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.OFF)
    val spark = SparkSession.builder().appName("SortFunctionsExample").master("local[*]").getOrCreate()

    val df = spark.read.csv(DATA_PATH).toDF("name", "dept", "age").cache()

    // asc
    formatPrint("""df.sort(asc("dept"), desc("age"))""")
    df.sort(asc("dept"), desc("age")).show()
    formatPrint("""df.sort(asc_nulls_first("dept"), desc("age"))""")
    df.sort(asc_nulls_first("dept"), desc("age")).show()
    formatPrint("""df.sort(asc_nulls_last("dept"), desc("age"))""")
    df.sort(asc_nulls_last("dept"), desc("age")).show()

    //desc
    formatPrint("""df.sort(asc("dept"), desc("age"))""")
    df.sort(asc("dept"), desc("age")).show()
    formatPrint("""df.sort(asc("dept"), desc_nulls_first("age"))""")
    df.sort(asc("dept"), desc_nulls_first("age")).show()
    formatPrint("""df.sort(asc("dept"), desc_nulls_last("age"))""")
    df.sort(asc("dept"), desc_nulls_last("age")).show()
  }
}

输出

========== [ df.sort(asc("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc_nulls_first("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc_nulls_last("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
|  David|null|  35|
+-------+----+----+

========== [ df.sort(asc("dept"), desc("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+

========== [ df.sort(asc("dept"), desc_nulls_first("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Joan|  PD|null|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
+-------+----+----+

========== [ df.sort(asc("dept"), desc_nulls_last("age")) ] ==========
+-------+----+----+
|   name|dept| age|
+-------+----+----+
|  David|null|  35|
|Charles|  ED|  34|
|    Bob|  HR|  28|
|   Alan|  PD|  30|
|  Bruce|  PD|  24|
|   Joan|  PD|null|
+-------+----+----+
掌握技巧！大数据时代交易数据的分析策略
AI架构师小马
08-25 1319
LSTM通过门控机制（遗忘门、输入门、输出门）长期记忆关键序列模式，在价格预测任务中准确率比XGBoost高15%-20%2021年“GameStop轧空事件”中，某券商因未实时监控多空持仓比例，导致无法及时限制散户交易，最终亏损超20亿美元。“实时采集-分布式处理-智能建模-工程落地”**四步，解决了传统分析的效率、实时性、维度局限问题。工程实践**：提供数据倾斜处理、性能调优等“踩坑经验”，降低生产落地门槛。事件驱动策略 **：实时解析政策公告（如央行降息），生成短期交易信号。
大数据在电商推荐系统中的应用实战
最新发布
AI 原生应用开发的博客
08-30 939
随着电商平台用户规模与商品数量的指数级增长，信息过载问题成为提升用户体验的核心挑战。推荐系统通过分析用户行为数据与商品特征，实现"千人千面"的个性化内容分发，已成为电商平台提升转化率、用户留存率的关键技术。推荐系统核心算法原理与优化（协同过滤、矩阵分解、深度学习模型）基于Spark的大规模数据处理 pipeline 构建实时推荐引擎与用户画像系统的整合方案从数据预处理到模型部署的全链路实战经验核心概念：解析推荐系统技术栈与数据流转逻辑。
scala学习源代码
04-18
scala的小例子一个简单的例子有一点小帮助
scala 源码
07-28
scala 基础源码大全
SparkSQL中的Sort实现（一）
doggggggggggggggggggggggggggggggggggggie的专栏
12-18 9820
SparkSQL中同样支持Order by和Sort by两种操作，本篇文章简单介绍Order by的分区间排序。
Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0）
Shockang的博客
12-12 4828
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
第1节 Scala基础语法：scala中的方法源码分析
dengmanzhou3124的博客
08-15 188
val list=List(1,2,3,4) list.reduce((x:Int,y:Int)=>x+y)--->list.reduceLeft((x:Int,y:Int)=>x+y) var first = true var acc:Int = 0 op=(x:Int,y:Int)=>x+y for循环第一次循环：acc=1 first =...
【spark床头书系列】DataFrameReader可以读取多少种数据？【建议收藏必看】
wang2leee的博客
11-26 838
Spark DataFrame可以读取多少种数据
Spark基础入门
热门推荐
桃李不言下自成蹊
12-14 4万+
sparkcore sparksql sparkstreaming structedstreming
spark常用版本3.
08-14
根据引用内容，我们注意到引用[2]提到：“在 Apache Spark 3.0 版本，将支持在 standalone、 YARN 以及 Kubernetes 资源管理器下支持 GPU”，因此我们可以推断Spark 3.0是一个重要版本，并且增加了对GPU的支持。...
scala-2.11.8源码
10-18
scala-2.11.8 源码下载 便于学习及深入了解scala核心机制
scala源码-2.11.x.zip
11-03
scala源码2.11.x，是学习scala，查看源码的必备东西，拿走不谢，本来是不要分的，可是不能不选，就少选点吧。
scala-2.10.7版本源码
02-22
scala-2.10.7版本源码
Scala程序设计 例子 源代码
10-14
Scala程序设计 例子 源代码 Scala程序设计 例子 源代码 Scala程序设计 例子 源代码
scala-2.12.8 源码包
02-15
scala-2.12.8 源码包
Spark SQL functions.scala 源码解析（七）String functions （基于 Spark 3.3.0）
Shockang的博客
12-28 4512
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
Scala：迭代器源码分析
qq_42146775的博客
01-03 1677
这下使用map对所有元素加一，并不会使得之前元素改变，也就是新的加一的集合开启了新的空间 val list= List(1,2,3,4,5,6) list.foreach(println) list.map(_ + 1) list.foreach(println) 下面是wordcount的部分代码，会浪费很多内存空间 val wordCount= List("hello world","hello scala","hello spark") val word = wordCount.flatMap(_.
scala集合练习(源码解析)
知其然，知其所以然
03-05 1402
一.背景 二.集合实战
Idea中查看Scala源码
weixin_41634597的博客
03-02 966
1、下载源码 https://www.scala-lang.org/download/2.11.12.html 2、解压源码文件 3、File->Project Structure->Global Libraries->选择目标sdk->选中右侧source，点击加号,选择加压后的源码文件夹 点击ok 点击apply,就可以了。 ...
Apache Spark基于Scala的大数据源码解析
资源摘要信息:"本文档详细介绍了基于Scala语言开发的Apache Spark大数据处理项目的源码结构与设计细节。该项目是一个先进且强大的大数据处理引擎，利用Scala进行主要开发，同时也支持Java、Python等多种编程语言。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值