第五章:SQL高级处理
5.1 窗口函数
窗口函数也称为OLAP函数。OLAP 是 OnLine AnalyticalProcessing 的简称,意思是对数据库数据进行实时分析处理。
<窗口函数> OVER ([PARTITION BY <列名>]
ORDER BY <排序用列名>)
- PARTITON BY 和 ORDER BY的作用
PARTITON BY 是用来分组,即选择要看哪个窗口,类似于 GROUP BY 子句的分组功能,但是 PARTITION BY 子句并不具备 GROUP BY 子句的汇总功能,并不会改变原始表中记录的行数。
ORDER BY 是用来排序,即决定窗口内,是按那种规则(字段)来排序的。
例如:
SELECT product_name
,product_type
,sale_price
,RANK() OVER (PARTITION BY product_type
ORDER BY sale_price) AS ranking
FROM product;
中得到的结果如下图所示:
【按种类分组 排序完右边有ranking对组内排序】
PARTITION BY
能够设定窗口对象范围。本例中,为了按照商品种类进行排序,我们指定了product_type。即一个商品种类就是一个小的"窗口"。
ORDER BY
能够指定按照哪一列、何种顺序进行排序。为了按照销售单价的升序进行排列,我们指定了sale_price。此外,窗口函数中的ORDER BY与SELECT语句末尾的ORDER BY一样,可以通过关键字ASC/DESC来指定升序/降序。
5.2 窗口函数种类
-
将SUM、MAX、MIN等聚合函数用在窗口函数中
-
RANK、DENSE_RANK等排序用的专用窗口函数
例如
-
RANK函数
计算排序时,如果存在相同位次的记录,则会跳过之后的位次。
例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、4 位……即第一位后不会有第二位
-
DENSE_RANK函数
同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次。即第一位后还会有第二位
-
ROW_NUMBER函数
赋予唯一的连续位次。即第一位后只会是第二位第三位依次
5.2.1 聚合函数在窗口函数上的使用
例如:
SELECT product_id
,product_name
,sale_price
,SUM(sale_price) OVER (ORDER BY product_id) AS current_sum
,AVG(sale_price) OVER (ORDER BY product_id) AS current_avg
FROM product;
将sum函数和avg函数应用到列表中,得到的值为当前所在行及之前所有的行的合计或均值,即累计到当前行的聚合。
5.3 窗口函数的的应用 - 计算移动平均
窗口函数不仅可以计算聚合,还可以指定更加详细的汇总范围,该汇总范围称为 框架。
语法:
<窗口函数> OVER (ORDER BY <排序用列名>
ROWS n PRECEDING )
<窗口函数> OVER (ORDER BY <排序用列名>
ROWS BETWEEN n PRECEDING AND n FOLLOWING)
其中可以替换:
PRECEDING(“之前”), 将框架指定为 “截止到之前 n 行”,加上自身行
FOLLOWING(“之后”), 将框架指定为 “截止到之后 n 行”,加上自身行
BETWEEN 1 PRECEDING AND 1 FOLLOWING,将框架指定为 “之前1行” + “之后1行” + “自身”
例如:
SELECT product_id
,product_name
,sale_price
,AVG(sale_price) OVER (ORDER BY product_id
ROWS 2 PRECEDING) AS moving_avg
,AVG(sale_price) OVER (ORDER BY product_id
ROWS BETWEEN 1 PRECEDING
AND 1 FOLLOWING) AS moving_avg
FROM product;
得到结果如下所示:
row 2 表示三阶移动平均
ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING:表示左右各一项的移动平均
5.3.1 窗口函数适用范围和注意事项
- 原则上,窗口函数只能在SELECT子句中使用。
- 窗口函数OVER 中的ORDER BY 子句并不会影响最终结果的排序。其只是用来决定窗口函数按何种顺序计算。
5.4 GROUPING运算符
5.4.1 ROLLUP - 计算合计及小计
例如:
SELECT product_type
,regist_date
,SUM(sale_price) AS sum_price
FROM product
GROUP BY product_type, regist_date WITH ROLLUP;
得到结果:
如图所示:每组最上面一行为该类别总计,之后则为组中按第二顺序排序后的合计量(NULL值在最上行)
ROLLUP 可以对多列进行汇总求小计和合计。
得到的结果中有三类:
首先是所有产品的汇总,其次是每类产品的和,最后是每类产品中按第二类别分组后的每组和。
5.5 存储过程和函数
5.5.1 基本介绍
基本语法:
[delimiter //]($$,可以是其他特殊字符)
CREATE
[DEFINER = user]
PROCEDURE sp_name ([proc_parameter[,...]])
[characteristic ...]
[BEGIN]
routine_body
[END//]($$,可以是其他特殊字符)
作用:创建一个存储例程(一个存储过程或函数),需要在创建该例程时将其名称指定为 db_name.sp_name。使用 CALL 语句调用一个已经存储的存储过程。
而要调用一个存储的函数时,则要在表达式中引用它。
5.5.2 参数
存储过程和函数的参数有三类,分别是:IN,OUT,INOUT,其中:
- IN 是入参。每个参数默认都是一个 IN 参数。如需设定一个参数为其他类型参数,请在参数名称前使用关键字 OUT 或 INOUT 。一个IN参数将一个值传递给一个过程。存储过程可能会修改这个值,但是当存储过程返回时,调用者不会看到这个修改。
【输入】 - OUT 是出参。一个 OUT 参数将一个值从过程中传回给调用者。它的初始值在过程中是 NULL ,当过程返回时,调用者可以看到它的值。
【返回值】 - INOUT :一个 INOUT 参数由调用者初始化,可以被存储过程修改,当存储过程返回时,调用者可以看到存储过程的任何改变。
【可以被存储过程修改】
对于每个 OUT 或 INOUT 参数,在调用过程的 CALL 语句中传递一个用户定义的变量,以便在过程返回时可以获得其值。如果你是在另一个存储过程或函数中调用存储过程,你也可以将一个常规参数或本地常规变量作为 OUT 或 INOUT 参数传递。如果从一个触发器中调用存储过程,也可以将 NEW.col_name 作为一个 OUT 或 INOUT 参数传递。
举例:
1.查询
mysql> DELIMITER //
mysql> DROP PROCEDURE IF EXISTS citycount //
Query OK, 0 rows affected (0.01 sec)
mysql> CREATE PROCEDURE citycount (IN country CHAR(3), OUT cities INT)
BEGIN
SELECT COUNT(*) INTO cities FROM world.city
WHERE CountryCode = country;
END//
Query OK, 0 rows affected (0.01 sec)
mysql> DELIMITER ;
mysql> CALL citycount('CHN', @cities); -- cities in China
Query OK, 1 row affected (0.01 sec)
-> SELECT @cities;
在此例中可以理解成python中的创建函数,最上是清除的内容,中间为创建,下为调用,得到结果363。
上面的示例显示了一个简单的存储过程,给定一个国家代码,计算在 world 数据库的城市表中出现的该国家的城市数量。使用 IN 参数传递国家代码,使用 OUT 参数返回城市计数:
- 创建表
mysql> use world;
Database changed
mysql> DELIMITER $$
mysql> CREATE DEFINER=`root`@`localhost` PROCEDURE `product_test`()
BEGIN
#Routine body goes here...
CREATE TABLE product_test like shop.product;
END$$
Query OK, 0 rows affected (0.01 sec)
mysql> DELIMITER;
mysql> call `product_test`();
Query OK, 0 rows affected (0.04 sec)
mysql> show tables;
- 插入数据
CREATE DEFINER=`root`@`localhost` PROCEDURE `insert_product_test`()
BEGIN
declare i int;
set i=1;
while i<9 do
set @pcid = CONCAT('000', i);
PREPARE stmt FROM 'INSERT INTO product_test() SELECT * FROM shop.product where product_id= ?';
EXECUTE stmt USING @pcid;
set i=i+1;
end while;
END