【spark床头书系列】Spark SQL示例用法所有函数示例权威详解二【建议收藏】

已于 2024-01-15 20:31:42 修改
阅读量996 收藏 18
点赞数 29
分类专栏： 大数据 spark 文章标签： spark sql
于 2023-11-26 00:24:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang2leee/article/details/134622970
版权

Spark SQL示例用法所有函数示例权威详解二 点击这里可看全文

文章目录

标量函数

标量函数是每行返回一个单值的函数，与聚合函数相对应，后者返回一组行的值。Spark SQL支持各种内置标量函数。它还支持用户定义的标量函数。

Spark SQL提供了两种函数功能来满足广泛的用户需求：内置函数和用户定义函数（UDFs）。内置函数是Spark SQL预定义的常用例程，完整的函数列表可以在内置函数API文档中找到。当系统的内置函数无法完成所需任务时，用户可以使用UDF来定义自己的函数。

内置函数 Spark SQL有一些常用的内置函数类别，用于聚合、数组/映射、日期/时间戳和JSON数据处理。本小节介绍这些函数的用法和描述。

条件函数

函数 描述
coalesce(expr1, expr2, …) 如果存在第一个非空参数，则返回第一个非空参数。否则，返回 null。
if(expr1, expr2, expr3) 如果 expr1 为真，则返回 expr2；否则返回 expr3。
ifnull(expr1, expr2) 如果 expr1 为空，则返回 expr2；否则返回 expr1。
nanvl(expr1, expr2) 如果 expr1 不是 NaN，则返回 expr1；否则返回 expr2。
nullif(expr1, expr2) 如果 expr1 等于 expr2，则返回 null；否则返回 expr1。
nvl(expr1, expr2) 如果 expr1 为空，则返回 expr2；否则返回 expr1。
nvl2(expr1, expr2, expr3) 如果 expr1 不为空，则返回 expr2；否则返回 expr3。
CASE WHEN expr1 THEN expr2 [WHEN expr3 THEN expr4]* [ELSE expr5] END 如果 expr1 为真，则返回 expr2；如果 expr3 为真，则返回 expr4；否则返回 expr5。

示例

-- coalesce
SELECT coalesce(NULL, 1, NULL);
+-----------------------+
|coalesce(NULL, 1, NULL)|
+-----------------------+
|                      1|
+-----------------------+

-- if
SELECT if(1 < 2, 'a', 'b');
+-------------------+
|(IF((1 < 2), a, b))|
+-------------------+
|                  a|
+-------------------+

-- ifnull
SELECT ifnull(NULL, array('2'));
+----------------------+
|ifnull(NULL, array(2))|
+----------------------+
|                   [2]|
+----------------------+

-- nanvl
SELECT nanvl(cast('NaN' as double), 123);
+-------------------------------+
|nanvl(CAST(NaN AS DOUBLE), 123)|
+-------------------------------+
|                          123.0|
+-------------------------------+

-- nullif
SELECT nullif(2, 2);
+------------+
|nullif(2, 2)|
+------------+
|        NULL|
+------------+

-- nvl
SELECT nvl(NULL, array('2'));
+-------------------+
|nvl(NULL, array(2))|
+-------------------+
|                [2]|
+-------------------+

-- nvl2
SELECT nvl2(NULL, 2, 1);
+----------------+
|nvl2(NULL, 2, 1)|
+----------------+
|               1|
+----------------+

-- when
SELECT CASE WHEN 1 > 0 THEN 1 WHEN 2 > 0 THEN 2.0 ELSE 1.2 END;
+-----------------------------------------------------------+
|CASE WHEN (1 > 0) THEN 1 WHEN (2 > 0) THEN 2.0 ELSE 1.2 END|
+-----------------------------------------------------------+
|                                                        1.0|
+-----------------------------------------------------------+

SELECT CASE WHEN 1 < 0 THEN 1 WHEN 2 > 0 THEN 2.0 ELSE 1.2 END;
+-----------------------------------------------------------+
|CASE WHEN (1 < 0) THEN 1 WHEN (2 > 0) THEN 2.0 ELSE 1.2 END|
+-----------------------------------------------------------+
|                                                        2.0|
+-----------------------------------------------------------+

SELECT CASE WHEN 1 < 0 THEN 1 WHEN 2 < 0 THEN 2.0 END;
+--------------------------------------------------+
|CASE WHEN (1 < 0) THEN 1 WHEN (2 < 0) THEN 2.0 END|
+--------------------------------------------------+
|                                              NULL|
+--------------------------------------------------+

位运算函数

函数 描述
expr1 & expr2 返回 expr1 和 expr2 的按位与结果。
expr1 ^ expr2 返回 expr1 和 expr2 的按位异或结果。
bit_count(expr) 返回参数 expr 中设置为1的位数，作为无符号64位整数。如果参数为空，则返回 NULL。
bit_get(expr, pos) 返回指定位置上的位（0或1）的值。位置从右到左编号，从零开始。位置参数不能为负数。
getbit(expr, pos) 返回指定位置上的位（0或1）的值。位置从右到左编号，从零开始。位置参数不能为负数。
shiftright(base, expr) 按位（带符号）向右移动。
shiftrightunsigned(base, expr) 按位（无符号）向右移动。
expr1 | expr2 返回 expr1 和 expr2 的按位或结果。
~ expr 返回 expr 的按位取反结果。

示例

-- &
SELECT 3 & 5;
+-------+
|(3 & 5)|
+-------+
|      1|
+-------+

-- ^
SELECT 3 ^ 5;
+-------+
|(3 ^ 5)|
+-------+
|      6|
+-------+

-- bit_count
SELECT bit_count(0);
+------------+
|bit_count(0)|
+------------+
|           0|
+------------+

-- bit_get
SELECT bit_get(11, 0);
+--------------+
|bit_get(11, 0)|
+--------------+
|             1|
+--------------+

SELECT bit_get(11, 2);
+--------------+
|bit_get(11, 2)|
+--------------+
|             0|
+--------------+

-- getbit
SELECT getbit(11, 0);
+-------------+
|getbit(11, 0)|
+-------------+
|            1|
+-------------+

SELECT getbit(11, 2);
+-------------+
|getbit(11, 2)|
+-------------+
|            0|
+-------------+

-- shiftright
SELECT shiftright(4, 1);
+----------------+
|shiftright(4, 1)|
+----------------+
|               2|
+----------------+

-- shiftrightunsigned
SELECT shiftrightunsigned(4, 1);
+------------------------+
|shiftrightunsigned(4, 1)|
+------------------------+
|                       2|
+------------------------+

-- |
SELECT 3 | 5;
+-------+
|(3 | 5)|
+-------+
|      7|
+-------+

-- ~
SELECT ~ 0;
+---+
| ~0|
+---+
| -1|
+---+

CSV函数

函数 描述
from_csv(csvStr, schema[, options]) 使用给定的 csvStr 和 schema 返回一个 struct 值。
schema_of_csv(csv[, options]) 返回 CSV 字符串的 DDL 格式中的模式。
to_csv(expr[, options]) 使用给定的 struct 值返回一个 CSV 字符串。

示例

- from_csv
SELECT from_csv('1, 0.8', 'a INT, b DOUBLE');
+----------------+
|from_csv(1, 0.8)|
+----------------+
|        {
  1, 0.8}|
+----------------+

SELECT from_csv('26/08/2015', 'time Timestamp', map('timestampFormat', 'dd/MM/yyyy'));
+--------------------+
|from_csv(26/08/2015)|
+--------------------+
|{
  2015-08-26 00:00...|
+--------------------+

-- schema_of_csv
SELECT schema_of_csv('1,abc');
+--------------------+
|schema_of_csv(1,abc)|
+--------------------+
|STRUCT<_c0: INT, ...|
+--------------------+

-- to_csv
SELECT to_csv(named_struct('a', 1, 'b', 2));
+--------------------------------+
|to_csv(named_struct(a, 1, b, 2))|
+--------------------------------+
|                             1,2|
+--------------------------------+

SELECT to_csv(named_struct('time', to_timestamp('2015-08-26', 'yyyy-MM-dd')), map('timestampFormat', 'dd/MM/yyyy'));
+----------------------------------------------------------------+
|to_csv(named_struct(time, to_timestamp(2015-08-26, yyyy-MM-dd)))|
+----------------------------------------------------------------+
|                                                      26/08/2015|
+----------------------------------------------------------------+

谓词函数

函数 描述
! expr 逻辑非。
expr1 < expr2 如果 expr1 小于 expr2，则返回 true。
expr1 <= expr2 如果 expr1 小于或等于 expr2，则返回 true。
expr1 <=> expr2 对于非空操作数，返回与 EQUAL(=) 运算符相同的结果，但如果两个操作数都为 null，则返回 true，否则返回 false。
expr1 = expr2 如果 expr1 等于 expr2，则返回 true；否则返回 false。
expr1 == expr2 如果 expr1 等于 expr2，则返回 true；否则返回 false。
expr1 > expr2 如果 expr1 大于 expr2，则返回 true。
expr1 >= expr2 如果 expr1 大于或等于 expr2，则返回 true。
expr1 and expr2 逻辑与。
str ilike pattern[ ESCAPE escape] 如果 str 不区分大小写地与 pattern 匹配，则返回 true；如果任何参数为空，则返回 null；否则返回 false。
expr1 in(expr2, expr3, …) 如果 expr 等于任何一个 valN，则返回 true。
isnan(expr) 如果 expr 是 NaN，则返回 true；否则返回 false。
isnotnull(expr) 如果 expr 不为空，则返回 true；否则返回 false。
isnull(expr) 如果 expr 为空，则返回 true；否则返回 false。
str like pattern[ ESCAPE escape] 如果 str 与 pattern 匹配，则返回 true；如果任何参数为空，则返回 null；否则返回 false。
not expr 逻辑非。
expr1 or expr2 逻辑或。
regexp(str, regexp) 如果 str 与 regexp 匹配，则返回 true；否则返回 false。
regexp_like(str, regexp) 如果 str 与 regexp 匹配，则返回 true；否则返回 false。
rlike(str, regexp) 如果 str 与 regexp 匹配，则返回 true；否则返回 false。

示例

-- !
SELECT ! true;
+----------+
|(NOT true)|
+----------+
|     false|
+----------+

SELECT ! false;
+-----------+
|(NOT false)|
+-----------+
|       true|
+-----------+

SELECT ! NULL;
+----------+
|(NOT NULL)|
+----------+
|      NULL|
+----------+

-- <
SELECT 1 < 2;
+-------+
|(1 < 2)|
+-------+
|   true|
+-------+

SELECT 1.1 < '1';
+---------+
|(1.1 < 1)|
+---------+
|    false|
+---------+

SELECT to_date('2009-07-30 04:17:52') < to_date('2009-07-30 04:17:52');
+-------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) < to_date(2009-07-30 04:17:52))|
+-------------------------------------------------------------+
|                                                        false|
+-------------------------------------------------------------+

SELECT to_date('2009-07-30 04:17:52') < to_date('2009-08-01 04:17:52');
+-------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) < to_date(2009-08-01 04:17:52))|
+-------------------------------------------------------------+
|                                                         true|
+-------------------------------------------------------------+

SELECT 1 < NULL;
+----------+
|(1 < NULL)|
+----------+
|      NULL|
+----------+

-- <=
SELECT 2 <= 2;
+--------+
|(2 <= 2)|
+--------+
|    true|
+--------+

SELECT 1.0 <= '1';
+----------+
|(1.0 <= 1)|
+----------+
|      true|
+----------+

SELECT to_date('2009-07-30 04:17:52') <= to_date('2009-07-30 04:17:52');
+--------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) <= to_date(2009-07-30 04:17:52))|
+--------------------------------------------------------------+
|                                                          true|
+--------------------------------------------------------------+

SELECT to_date('2009-07-30 04:17:52') <= to_date('2009-08-01 04:17:52');
+--------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) <= to_date(2009-08-01 04:17:52))|
+--------------------------------------------------------------+
|                                                          true|
+--------------------------------------------------------------+

SELECT 1 <= NULL;
+-----------+
|(1 <= NULL)|
+-----------+
|       NULL|
+-----------+

-- <=>
SELECT 2 <=> 2;
+---------+
|(2 <=> 2)|
+---------+
|     true|
+---------+

SELECT 1 <=> '1';
+---------+
|(1 <=> 1)|
+---------+
|     true|
+---------+

SELECT true <=> NULL;
+---------------+
|(true <=> NULL)|
+---------------+
|          false|
+---------------+

SELECT NULL <=> NULL;
+---------------+
|(NULL <=> NULL)|
+---------------+
|           true|
+---------------+

-- =
SELECT 2 = 2;
+-------+
|(2 = 2)|
+-------+
|   true|
+-------+

SELECT 1 = '1';
+-------+
|(1 = 1)|
+-------+
|   true|
+-------+

SELECT true = NULL;
+-------------+
|(true = NULL)|
+-------------+
|         NULL|
+-------------+

SELECT NULL = NULL;
+-------------+
|(NULL = NULL)|
+-------------+
|         NULL|
+-------------+

-- ==
SELECT 2 == 2;
+-------+
|(2 = 2)|
+-------+
|   true|
+-------+

SELECT 1 == '1';
+-------+
|(1 = 1)|
+-------+
|   true|
+-------+

SELECT true == NULL;
+-------------+
|(true = NULL)|
+-------------+
|         NULL|
+-------------+

SELECT NULL == NULL;
+-------------+
|(NULL = NULL)|
+-------------+
|         NULL|
+-------------+

-- >
SELECT 2 > 1;
+-------+
|(2 > 1)|
+-------+
|   true|
+-------+

SELECT 2 > 1.1;
+-------+
|(2 > 1)|
+-------+
|   true|
+-------+

SELECT to_date('2009-07-30 04:17:52') > to_date('2009-07-30 04:17:52');
+-------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) > to_date(2009-07-30 04:17:52))|
+-------------------------------------------------------------+
|                                                        false|
+-------------------------------------------------------------+

SELECT to_date('2009-07-30 04:17:52') > to_date('2009-08-01 04:17:52');
+-------------------------------------------------------------+
|(to_date(2009-07-30 04:17:52) > to_date(2009-08-01 04:17:52))|
+-------------------------------------------------------------+
|                                                        false|
+-------------------------------------------------------------+

SELECT 1 > NULL;
+----------+
|(1 > NULL)|
+----------+
|      NULL|
+----------+

-- >=
SELECT 2 >= 1;
+--------+
|(2 >= 1)|
+--------+
|    true|
+--------+

SELECT 2.0 >= '2.1';
+------------+
|(2.0 >= 2.1)|
+------------+
|       false
最低0.47元/天 解锁文章
BigDataMLApplication
关注
  • 29
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【spark床头书系列】Spark SQL示例用法所有函数示例权威详解一【建议收藏】
wang2leee的博客
11-26 1432
Spark SQL示例用法所有函数示例权威详解
Spark SQL（三十五）
用键盘与世界交流
12-16 704
Spark SQL Spark SQL 是一个用于处理结构化数据的 Spark 组件，它是在 Spark 1.0 版本开始加入 Spark 生态系统的。Spark SQL 能够利用 Spark 进行结构化数据的存储和操作，结构化数据既可以来自外部结构化数据源（Hive、JSON、Parquet、JDBC/ODBC等），也可以通过向已有 RDD 增加 Schema 的方式得到。 相比于 Spark RDD API，Spark SQL 包含了对结构化数据和在其上运算的更多信息，S...
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
wang2leee的博客
11-27 1161
spark-shell 任务提交任务参数选项说明示例源码详解
【Spark床头书系列】从Spark SQL 2.4升级到3.0哪些变化
wang2leee的博客
10-13 809
spark3新特性从以下几方面介绍：Dataset/DataFrame API、DDL语句、UDF和内置函数、Spark版本3.0中的查询引擎变化 数据源变化、其他变化
【spark床头书系列】SparkSQL性能调优官网权威资料
wang2leee的博客
11-25 1024
SparkSQL性能调优官网权威资料,看一篇就够了
【spark床头书系列】Spark Streaming 编程权威使用指南
wang2leee的博客
11-30 1078
本文档为Spark的旧版本Streaming引擎。Spark Streaming 不再更新，是一个遗留项目。在Spark中有一种新的、更易用的流处理引擎，称为结构化流式处理。您应该使用Spark结构化流处理来开发流式应用和流水线。请参阅结构化流式处理编程指南。*
【spark床头书系列】DataFrameReader可以读取多少种数据？【建议收藏必看】
wang2leee的博客
11-26 482
Spark DataFrame可以读取多少种数据
【spark床头书系列】Spark Structured Streaming 编程权威指南
wang2leee的博客
12-01 1207
Spark Structured Streaming 编程权威指南,看一篇就够了
【spark床头书系列】PySpark 安装指南 PySpark DataFrame 、PySpark Pandas Api快速入门权威指南
wang2leee的博客
12-04 1383
PySpark是Apache Spark官方发布的一部分，可以在Apache Spark网站上获取。对于Python用户，PySpark还提供了从PyPI进行pip安装的方式。这通常适用于本地使用或作为连接到集群的客户端，而不是设置一个集群本身。
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每一个RDD都会有5个...
Spark的广播变量和累加器使用方法代码示例
01-10
通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务...
基于Java的Spark数据处理示例设计源码
04-18
本项目是基于Java的Spark数据处理示例设计源码，共包含157个文件，其中主要...项目旨在通过Java编程语言和Spark框架，展示如何使用Spark进行数据处理，提供一系列数据处理示例，帮助开发者理解和掌握Spark的使用方法。
摸鱼大数据-Spark SQL-Spark SQL函数定义
06-29
Spark SQL函数定义资源
Spark实现K-Means算法代码示例
01-20
K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，把若干个点聚成K类。 MLlib实现K-Means算法的原理是，运行多个K-Means算法，每个称为run，返回最好的那个聚类的类簇中心。初始的类簇...
Spark学习之SparkSQL
m0_58050808的博客
07-16 679
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
spark shell
m0_74934794的博客
07-19 498
2.1.1读取linux文件系统的文件创建RDD。2.1.2读取hdfs文件系统上的文件创建RDD。--需要保证每一个worker中都有该文件。--过滤数据,保留每行中含有hello的数据。2.2使用Parallelize创建RDD。2.3从其他的RDD中创建新的RDD。--对RDD中的数据进行过滤操作。--统计RDD中的数据记录表。2.1 读取文件创建RDD。--读取RDD的第一条数据。4.实现wordcount。1.进行shell命令行。3.对RDD进行操作。--读取中的N条数据。
Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character
最新发布
Matrix70的博客
07-22 119
我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据，因此采用jdbc的方式，一开始我把sql变成query直接查，所以报上面的问题。其实一开始就是想要快一点读取oracle表数据，但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧，看看时间怎么样。不加query，直接在这里整出全表数据，然后再filter一下我们要的数据。这样是不行的，不能加query。
从数据湖到湖仓一体：统一数据架构演进之路
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-17 1440
本文详细探讨了从数据湖到湖仓一体的演进过程及其在现代数据管理中的重要性。湖仓一体由Databricks于2020年提出，旨在融合数据湖和数据仓库的优势，通过无缝集成，实现数据存储和管理的统一架构。 湖仓一体的出现主要是为了降低成本和解决数据孤岛问题。传统的数据湖和数据仓库各自独立建设，导致重复投资和数据管理上的困难，而湖仓一体通过简化基础架构、提升数据存储弹性和质量，有效减少了这些问题。
Spark新手指南：常用API详解与实战示例
这份文档详细列出了Spark API中一系列关键方法，覆盖了数据处理的基本流程，包括数据预处理、聚合、过滤、映射以及性能优化。对于想要学习和使用Spark进行大数据分析的开发者来说，这是一份不可或缺的参考资源。通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值