SQL高级处理
5.1 窗口函数
窗口函数也称为OLAP函数。OLAP 是 OnLine AnalyticalProcessing
的简称,意思是对数据库数据进行实时分析处理。
为了便于理解,称之为 窗口函数
。常规的SELECT语句都是对整张表进行查询,而窗口函数可以让我们有选择的去某一部分数据进行汇总、计算和排序。
语法
<窗口函数> OVER ([ PARTITION BY <列名> ]
[ ORDER BY <排序用列名> ])
PARTITON BY 子句 可选参数,指示如何将查询行划分为组,类似于 GROUP BY 子句的分组功能,但是 PARTITION BY 子句并不具备 GROUP BY 子句的汇总功能,并不会改变原始表中记录的行数。
ORDER BY 子句 可选参数,指示如何对每个分区中的行进行排序,即决定窗口内,是按那种规则(字段)来排序的。
注意:在窗口函数中,partition by子句和order by子句至少二选一。
例子
按商品类别对商品价格进行升序排序
SELECT product_name
,product_type
,sale_price
,RANK() OVER (PARTITION BY product_type
ORDER BY sale_price) AS ranking
FROM product;
窗口函数种类
大致来说,窗口函数可以分为两类:排序函数和聚合函数。
排序函数
RANK、DENSE_RANK等排序用的专用窗口函数
RANK函数
计算排序时,如果存在相同位次的记录,则会跳过之后的位次。
例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、4 位……
DENSE_RANK函数
同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次。
例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、2 位……
ROW_NUMBER函数
赋予唯一的连续位次。
例)有 3 条记录排在第 1 位时:1 位、2 位、3 位、4 位
对比例子
SELECT product_name
,product_type
,sale_price
,RANK() OVER (ORDER BY sale_price) AS ranking
,DENSE_RANK() OVER (ORDER BY sale_price) AS dense_ranking
,ROW_NUMBER() OVER (ORDER BY sale_price) AS row_num
FROM product;
聚合函数
将SUM、MAX、MIN等聚合函数用在窗口函数中。聚合函数在窗口函数中的使用方法和之前的专用窗口函数一样,只是出来的结果是一个累计的聚合函数值。
聚合函数结果是,按我们指定的排序,当前所在行及之前所有的行的合计或均值。即累计到当前行的聚合。
SELECT product_id
,product_name
,sale_price
,SUM(sale_price) OVER (ORDER BY product_id) AS current_sum
,AVG(sale_price) OVER (ORDER BY product_id) AS current_avg
FROM product;
窗口函数的应用 - 计算移动平均
与聚合函数相比,可以指定更加详细的汇总范围,该汇总范围称为 框架 (frame)。
语法
<窗口函数> OVER (ORDER BY <排序用列名>
ROWS n PRECEDING )
<窗口函数> OVER (ORDER BY <排序用列名>
ROWS BETWEEN n PRECEDING AND n FOLLOWING)
PRECEDING(“之前”), 将框架指定为 “截止到之前 n 行”,加上自身行
FOLLOWING(“之后”), 将框架指定为 “截止到之后 n 行”,加上自身行
例1:
SELECT product_id
,product_name
,sale_price
,AVG(sale_price) OVER (ORDER BY product_id
ROWS 2 PRECEDING) AS moving_avg
FROM product;
例2:
BETWEEN 1 PRECEDING AND 1 FOLLOWING,将框架指定为 “之前1行” + “之后1行” + “自身”
SELECT product_id
,product_name
,sale_price
,AVG(sale_price) OVER (ORDER BY product_id
ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING) AS moving_avg
FROM product;
适用范围和注意事项
- 原则上,窗口函数只能在SELECT子句中使用。
- 窗口函数OVER 中的ORDER BY 子句并不会影响最终结果的排序。其只是用来决定窗口函数按何种顺序计算。
5.2 grouping运算符
常规的GROUP BY 只能得到每个分类的小计,有时候还需要计算分类的合计,可以用 ROLLUP关键字,计算小计和合计。
SELECT product_type
,regist_date
,SUM(sale_price) AS sum_price
FROM product
GROUP BY product_type, regist_date WITH ROLLUP;
5.3 存储过程
语法
[delimiter //]($$,可以是其他特殊字符)
CREATE
[DEFINER = user]
PROCEDURE sp_name ([proc_parameter[,...]])
[characteristic ...]
[BEGIN]
routine_body
[END//]($$,可以是其他特殊字符)
参数
存储过程和函数的参数有三类,分别是:IN
,OUT
,INOUT
,其中:
IN
是入参。每个参数默认都是一个IN
参数。如需设定一个参数为其他类型参数,请在参数名称前使用关键字OUT
或INOUT
。一个IN参数将一个值传递给一个过程。存储过程可能会修改这个值,但是当存储过程返回时,调用者不会看到这个修改。OUT
是出参。一个OUT
参数将一个值从过程中传回给调用者。它的初始值在过程中是NULL
,当过程返回时,调用者可以看到它的值。INOUT
:一个INOUT
参数由调用者初始化,可以被存储过程修改,当存储过程返回时,调用者可以看到存储过程的任何改变。
注意
如果存储过程体仅仅只有一句话,begin end可以省略
存储过程体中的每条sql语句的结尾要求必须加分号。
存储过程的结尾可以使用 delimiter 重新设置
语法:
delimiter 结束标记
案例:
delimiter $
例子
计算在 world
数据库的城市表中出现的该国家的城市数量。使用 IN
参数传递国家代码,使用 OUT
参数返回城市计数.
mysql> DELIMITER //
mysql> USE world//
Database changed
mysql> DROP PROCEDURE IF EXISTS citycount //
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> CREATE PROCEDURE citycount (IN country CHAR(3), OUT cities INT)
-> BEGIN
-> SELECT COUNT(*) INTO cities FROM world.city
-> WHERE CountryCode = country;
-> END//
Query OK, 0 rows affected (0.00 sec)
mysql> CALL citycount('CHN', @cities)//
Query OK, 1 row affected (0.02 sec)
mysql> SELECT @cities//
+---------+
| @cities |
+---------+
| 363 |
+---------+
1 row in set (0.00 sec)
创建表
mysql> delimiter $$
mysql> CREATE DEFINER=`root`@`localhost` PROCEDURE `product_test`()
-> BEGIN
-> #Routine body goes here...
-> CREATE TABLE product_test like shop.product;
-> END$$
Query OK, 0 rows affected (0.00 sec)
mysql> delimiter ;
mysql> call `product_test`();
Query OK, 0 rows affected (0.03 sec)
mysql> show tables;
+-----------------+
| Tables_in_world |
+-----------------+
| city |
| country |
| countrylanguage |
| product_test |
+-----------------+
4 rows in set (0.00 sec)
5.4 预处理声明 PREPARE Statement
语法
PREPARE stmt_name FROM preparable_stmt
步骤
- PREPARE – 准备需要执行的语句预处理声明。
- EXECUTE – 执行预处理声明。
- DEALLOCATE PREPARE – 释放预处理声明。
例子
使用 shop
中的 product
表进行演示
首先,定义预处理声明如下:
PREPARE stmt1 FROM
'SELECT
product_id,
product_name
FROM product
WHERE product_id = ?';
其次,声明变量 pcid
,代表商品编号,并将其值设置为 0005
:
SET @pcid = '0005';
第三,执行预处理声明:
EXECUTE stmt1 USING @pcid;
第四,为变量 pcid
分配另外一个商品编号:
SET @pcid = '0008';
第五,使用新的商品编号执行预处理声明:
EXECUTE stmt1 USING @pcid;
最后,释放预处理声明以释放其占用的资源:
DEALLOCATE PREPARE stmt1;
练习题
5.1
请说出针对本章中使用的 product(商品)表执行如下 SELECT 语句所能得到的结果。
SELECT product_id
,product_name
,sale_price
,MAX(sale_price) OVER (ORDER BY product_id) AS Current_max_price
FROM product;
5.2
继续使用product表,计算出按照登记日期(regist_date)升序进行排列的各日期的销售单价(sale_price)的总额。排序是需要将登记日期为NULL 的“运动 T 恤”记录排在第 1 位(也就是将其看作比其他日期都早)
SELECT product_id
,product_name
,sale_price,
regist_date,
SUM(sale_price) over (ORDER BY regist_date) AS "sum(sale_price)" FROM product;
5.3
思考题
① 窗口函数不指定PARTITION BY的效果是什么?
窗口函数不指定partition by,则一定有order by,即对所有行进行排序。
② 为什么说窗口函数只能在SELECT子句中使用?实际上,在ORDER BY 子句使用系统并不会报错。
这和sql语句的执行顺序有关,按关键字子句分:from->where->group by->having->select->order by
所以如果在其他子句使用窗口函数,会改变表结构,而order by本来就是在select子句之后,所以不会报错。
5.4
使用存储过程创建20个与 shop.product
表结构相同的表,如下图所示:
DELIMITER $
DROP PROCEDURE IF EXISTS `create_product`$
CREATE DEFINER=`root`@`localhost` PROCEDURE create_product()
BEGIN
DECLARE i INT;
DECLARE nametemp VARCHAR(20);
DECLARE sql_text VARCHAR(2000);
SET i=1;
WHILE i<21 DO
IF i<10 THEN
SET nametemp=CONCAT("table0",i);
ELSE SET nametemp=CONCAT("table",i);
END IF;
SET sql_text=CONCAT('CREATE TABLE ', nametemp, ' LIKE shop.product');
SELECT sql_text;
SET @sql_text=sql_text;
PREPARE stmt FROM @sql_text;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;
SET i=i+1;
END WHILE;
END $