SQL高级处理

最新推荐文章于 2023-05-23 14:27:15 发布

ScrapingBoy

最新推荐文章于 2023-05-23 14:27:15 发布

阅读量174

点赞数

分类专栏： MySQL 文章标签： sql 数据库 database

本文链接：https://blog.csdn.net/y_h_k_666/article/details/125032024

版权

MySQL 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

SQL高级处理

1 窗口函数

1.1 基本概念和使用方法

窗口函数也称为OLAP函数。OLAP 是 OnLine AnalyticalProcessing 的简称，意思是对数据库数据进行实时分析处理。

为了便于理解，称之为 窗口函数(window function)。常规的SELECT语句都是对整张表进行查询，而窗口函数可以让我们有选择的去某一部分数据进行汇总、计算和排序。

窗口函数的通用形式：

<窗口函数> OVER ([PARTITION BY <列名>]
                     ORDER BY <排序用列名>)

根据需要，[ ]中的内容可以省略。

PARTITON BY 是用来分组，即选择要看哪个窗口，类似于 GROUP BY 子句的分组功能，但是 PARTITION BY 子句并不具备 GROUP BY 子句的汇总功能，并不会改变原始表中记录的行数。

ORDER BY 是用来排序，即决定窗口内，是按那种规则(字段)来排序的。

eg:

SELECT
	product_name,
	product_type,
	sale_price,
	RANK () OVER (
		PARTITION BY product_type
		ORDER BY
			sale_price
	) AS ranking
FROM
	product;
	
+--------------+--------------+------------+---------+
| product_name | product_type | sale_price | ranking |
+--------------+--------------+------------+---------+
| 打孔器       | 办公用品     |        500 |       1 |
| 圆珠笔       | 办公用品     |       5000 |       2 |
| 叉子         | 厨房用具     |        500 |       1 |
| 擦菜板       | 厨房用具     |        880 |       2 |
| 菜刀         | 厨房用具     |       3000 |       3 |
| 高压锅       | 厨房用具     |       6800 |       4 |
| T恤衫        | 衣服         |       1000 |       1 |
| 运动T恤      | 衣服         |       4000 |       2 |
+--------------+--------------+------------+---------+
8 rows in set (0.00 sec)

我们先忽略生成的新列 - [ranking]，看下原始数据在PARTITION BY 和 ORDER BY 关键字的作用下发生了什么变化。

PARTITION BY 能够设定窗口对象范围。本例中，为了按照商品种类进行排序，我们指定了product_type。即一个商品种类就是一个小的"窗口"。

ORDER BY 能够指定按照哪一列、何种顺序进行排序。为了按照销售单价的升序进行排列，我们指定了sale_price。此外，窗口函数中的ORDER BY与SELECT语句末尾的ORDER BY一样，可以通过关键字ASC/DESC来指定升序/降序。省略该关键字时会默认按照ASC，也就是

升序进行排序。本例中就省略了上述关键字。特点如下：

通过 partition by 分组后的记录的集合可以成为窗口，我们本例中 partition by 是根据 product_type 进行分组的。
order by sal_price 表示分组后的每个小窗口，根据 sale_price 升序排列
rank() ：成为窗口函数，表示每个小窗口按照 sale_price 记录排名。

1.2 窗口函数的种类

大致来说，窗口函数可以分为两类。

将SUM、MAX、MIN等聚合函数用在窗口函数中
RANK、DENSE_RANK等排序用的专用窗口函数

1.2.1 专用窗口函数

RANK函数

计算排序时，如果存在相同位次的记录，则会跳过之后的位次。

例）有 3 条记录排在第 1 位时：1 位、1 位、1 位、4 位……

DENSE_RANK函数

同样是计算排序，即使存在相同位次的记录，也不会跳过之后的位次。

例）有 3 条记录排在第 1 位时：1 位、1 位、1 位、2 位……

ROW_NUMBER函数

赋予唯一的连续位次。

例）有 3 条记录排在第 1 位时：1 位、2 位、3 位、4 位

运行以下代码：

SELECT
	product_name,
	product_type,
	sale_price,
	RANK () OVER (ORDER BY sale_price) AS ranking,
	DENSE_RANK () OVER (ORDER BY sale_price) AS dense_ranking,
	ROW_NUMBER () OVER (ORDER BY sale_price) AS row_num
FROM
	product;
	
+--------------+--------------+------------+---------+---------------+---------+
| product_name | product_type | sale_price | ranking | dense_ranking | row_num |
+--------------+--------------+------------+---------+---------------+---------+
| 打孔器       | 办公用品     |        500 |       1 |             1 |       1 |
| 叉子         | 厨房用具     |        500 |       1 |             1 |       2 |
| 擦菜板       | 厨房用具     |        880 |       3 |             2 |       3 |
| T恤衫        | 衣服         |       1000 |       4 |             3 |       4 |
| 菜刀         | 厨房用具     |       3000 |       5 |             4 |       5 |
| 运动T恤      | 衣服         |       4000 |       6 |             5 |       6 |
| 圆珠笔       | 办公用品     |       5000 |       7 |             6 |       7 |
| 高压锅       | 厨房用具     |       6800 |       8 |             7 |       8 |
+--------------+--------------+------------+---------+---------------+---------+
8 rows in set (0.00 sec)

1.2.2 聚合函数在窗口函数上的使用

聚合函数在窗口函数中的使用方法和之前的专用窗口函数一样，只是出来的结果是一个累计的聚合函数值。

运行以下代码：

SELECT
	product_id,
	product_name,
	sale_price,
	SUM(sale_price) OVER (ORDER BY product_id) current_sum,
	AVG(sale_price) OVER (ORDER BY product_id) current_avg  
FROM
	product;
	
+------------+--------------+------------+-------------+-------------+
| product_id | product_name | sale_price | current_sum | current_avg |
+------------+--------------+------------+-------------+-------------+
| 0001       | T恤衫        |       1000 |        1000 |   1000.0000 |
| 0002       | 打孔器       |        500 |        1500 |    750.0000 |
| 0003       | 运动T恤      |       4000 |        5500 |   1833.3333 |
| 0004       | 菜刀         |       3000 |        8500 |   2125.0000 |
| 0005       | 高压锅       |       6800 |       15300 |   3060.0000 |
| 0006       | 叉子         |        500 |       15800 |   2633.3333 |
| 0007       | 擦菜板       |        880 |       16680 |   2382.8571 |
| 0008       | 圆珠笔       |       5000 |       21680 |   2710.0000 |
+------------+--------------+------------+-------------+-------------+
8 rows in set (0.00 sec)

可以看出，聚合函数结果是，按我们指定的排序，这里是product_id，当前所在行及之前所有的行的合计或均值。即累计到当前行的聚合。

有该例我们受到启发，求解 product 表的 sale_price 升序排列后截止到当前行的所有sale_price 的和：

SELECT
	a.product_id,
	a.product_type,
	a.sale_price,
	(
		sum(sale_price) over (ORDER BY sale_price)
	) sum_sale_price
FROM
	product a;
	
+------------+--------------+------------+----------------+
| product_id | product_type | sale_price | sum_sale_price |
+------------+--------------+------------+----------------+
| 0002       | 办公用品     |        500 |           1000 |
| 0006       | 厨房用具     |        500 |           1000 |
| 0007       | 厨房用具     |        880 |           1880 |
| 0001       | 衣服         |       1000 |           2880 |
| 0004       | 厨房用具     |       3000 |           5880 |
| 0003       | 衣服         |       4000 |           9880 |
| 0008       | 办公用品     |       5000 |          14880 |
| 0005       | 厨房用具     |       6800 |          21680 |
+------------+--------------+------------+----------------+
8 rows in set (0.00 sec)

这种分组会导致 sale_price 相等时，求和出现问题。怎么解决这个问题哪？

我们先放一放，继续往下复习。

SELECT
	a.product_id,
	a.product_type,
	a.sale_price,
	(
		sum(sale_price) over (ORDER BY sale_price ROWS between 8 preceding and current row)
	) sum_sale_price
FROM
	product a;
	
+------------+--------------+------------+----------------+
| product_id | product_type | sale_price | sum_sale_price |
+------------+--------------+------------+----------------+
| 0002       | 办公用品     |        500 |            500 |
| 0006       | 厨房用具     |        500 |           1000 |
| 0007       | 厨房用具     |        880 |           1880 |
| 0001       | 衣服         |       1000 |           2880 |
| 0004       | 厨房用具     |       3000 |           5880 |
| 0003       | 衣服         |       4000 |           9880 |
| 0008       | 办公用品     |       5000 |          14880 |
| 0005       | 厨房用具     |       6800 |          21680 |
+------------+--------------+------------+----------------+
8 rows in set (0.00 sec)

1.3 窗口函数的的应用 - 计算移动平均

在上面提到，聚合函数在窗口函数使用时，计算的是累积到当前行的所有的数据的聚合。实际上，还可以指定更加详细的汇总范围。该汇总范围称为框架 (frame)。

语法：

<窗口函数> OVER (ORDER BY <排序用列名>
                 ROWS n PRECEDING )  
                 
<窗口函数> OVER (ORDER BY <排序用列名>
                 ROWS BETWEEN n PRECEDING AND n FOLLOWING)

PRECEDING（“之前”），将框架指定为 “截止到之前 n 行”，加上自身行

FOLLOWING（“之后”），将框架指定为 “截止到之后 n 行”，加上自身行

BETWEEN 1 PRECEDING AND 1 FOLLOWING，将框架指定为 “之前1行” + “之后1行” + “自身”

执行以下代码：

SELECT
	product_id,
	product_name,
	sale_price,
	AVG(sale_price) OVER (

		ORDER BY
			product_id ROWS 2 PRECEDING
	) AS moving_avg,
	AVG(sale_price) OVER (

		ORDER BY
			product_id ROWS BETWEEN 1 PRECEDING
		AND 1 FOLLOWING
	) AS moving_avg
FROM
	product;

+------------+--------------+------------+------------+------------+
| product_id | product_name | sale_price | moving_avg | moving_avg |
+------------+--------------+------------+------------+------------+
| 0001       | T恤衫        |       1000 |  1000.0000 |   750.0000 |
| 0002       | 打孔器       |        500 |   750.0000 |  1833.3333 |
| 0003       | 运动T恤      |       4000 |  1833.3333 |  2500.0000 |
| 0004       | 菜刀         |       3000 |  2500.0000 |  4600.0000 |
| 0005       | 高压锅       |       6800 |  4600.0000 |  3433.3333 |
| 0006       | 叉子         |        500 |  3433.3333 |  2726.6667 |
| 0007       | 擦菜板       |        880 |  2726.6667 |  2126.6667 |
| 0008       | 圆珠笔       |       5000 |  2126.6667 |  2940.0000 |
+------------+--------------+------------+------------+------------+
8 rows in set (0.00 sec)

注意第一行的执行结果：

moving_avg : 1000/1 = 1000

moving_avg: (1000+500)/2 = 750

窗口函数适用范围和注意事项:

原则上，窗口函数只能在SELECT子句中使用。
窗口函数OVER 中的ORDER BY 子句并不会影响最终结果的排序。其只是用来决定窗口函数按何种顺序计算。

2. rollup运算符

常规的GROUP BY 只能得到每个分类的小计，有时候还需要计算分类的合计，可以用 ROLLUP关键字。

SELECT
	product_type,
	regist_date,
	SUM(sale_price) sum_price
FROM
	product
GROUP BY
	product_type,
	regist_date 
WITH ROLLUP;

+--------------+-------------+-----------+
| product_type | regist_date | sum_price |
+--------------+-------------+-----------+
| 办公用品     | 2009-09-11  |       500 |
| 办公用品     | 2009-11-11  |      5000 |
| 办公用品     | NULL        |      5500 |
| 厨房用具     | 2008-04-28  |       880 |
| 厨房用具     | 2009-01-15  |      6800 |
| 厨房用具     | 2009-09-20  |      3500 |
| 厨房用具     | NULL        |     11180 |
| 衣服         | NULL        |      4000 |
| 衣服         | 2009-09-20  |      1000 |
| 衣服         | NULL        |      5000 |
| NULL         | NULL        |     21680 |
+--------------+-------------+-----------+
11 rows in set (0.00 sec)

这里ROLLUP 对product_type, regist_date两列进行合计汇总。每一个类别的最后一行都有对 sum_price 的求和，最后一行是对所有 sum_price 的求和。

ROLLUP 可以对多列进行汇总求小计和合计。

3. 存储过程和函数

3.1 基本介绍

基本语法：

[delimiter //]($$，可以是其他特殊字符）
CREATE
    [DEFINER = user]
    PROCEDURE sp_name ([proc_parameter[,...]])
    [characteristic ...] 
[BEGIN]
  routine_body
[END//]($$，可以是其他特殊字符）

这些语句被用来创建一个存储例程（一个存储过程或函数）。也就是说，指定的例程被服务器知道了。默认情况下，一个存储例程与默认数据库相关联。要将该例程明确地与一个给定的数据库相关联，需要在创建该例程时将其名称指定为 db_name.sp_name。

使用 CALL 语句调用一个存储过程。而要调用一个存储的函数时，则要在表达式中引用它。在表达式计算期间，该函数返回一个值。

routine_body 由一个有效的SQL例程语句组成。它可以是一个简单的语句，如 SELECT 或 INSERT，或一个使用 BEGIN 和 END 编写的复合语句。复合语句可以包含声明、循环和其他控制结构语句。在实践中，存储函数倾向于使用复合语句，除非例程主体由一个 RETURN 语句组成。

3.2 参数介绍

存储过程和函数的参数有三类，分别是：IN，OUT，INOUT，其中：

IN 是入参。每个参数默认都是一个 IN 参数。如需设定一个参数为其他类型参数，请在参数名称前使用关键字 OUT 或 INOUT 。一个IN参数将一个值传递给一个过程。存储过程可能会修改这个值，但是当存储过程返回时，调用者不会看到这个修改。
OUT 是出参。一个 OUT 参数将一个值从过程中传回给调用者。它的初始值在过程中是 NULL ，当过程返回时，调用者可以看到它的值。
INOUT ：一个 INOUT 参数由调用者初始化，可以被存储过程修改，当存储过程返回时，调用者可以看到存储过程的任何改变。

对于每个 OUT 或 INOUT 参数，在调用过程的 CALL 语句中传递一个用户定义的变量，以便在过程返回时可以获得其值。如果你是在另一个存储过程或函数中调用存储过程，你也可以将一个常规参数或本地常规变量作为 OUT 或 INOUT 参数传递。如果从一个触发器中调用存储过程，也可以将 NEW.col_name 作为一个 OUT 或 INOUT 参数传递。

3.3 应用示例

查询下面的示例显示了一个简单的存储过程，给定一个国家代码，计算在 world 数据库的城市表中出现的该国家的城市数量。使用 IN 参数传递国家代码，使用 OUT 参数返回城市计数:

mysql> DELIMITER //
mysql> DROP PROCEDURE IF EXISTS citycount //
Query OK, 0 rows affected (0.01 sec)

mysql> CREATE PROCEDURE citycount (IN country CHAR(3), OUT cities INT)
       BEGIN
         SELECT COUNT(*) INTO cities FROM world.city
         WHERE CountryCode = country;
       END//
Query OK, 0 rows affected (0.01 sec)

mysql> DELIMITER ;
mysql> CALL citycount('CHN', @cities); -- cities in China
Query OK, 1 row affected (0.01 sec)

    -> SELECT @cities;
+---------+
| @cities |
+---------+
|     363 |
+---------+
1 row in set (0.04 sec)

DELIMITER //
DROP PROCEDURE IF EXISTS citycount //

CREATE PROCEDURE citycount (IN country CHAR(3), OUT cities INT)
       BEGIN
         SELECT COUNT(*) INTO cities FROM world.city
         WHERE CountryCode = country;
       END//
       
 DELIMITER ;
 CALL citycount('CHN', @cities); -- cities in China
 SELECT @cities;
 +---------+
| @cities |
+---------+
|     363 |
+---------+
1 row in set (0.00 sec)

相当于执行了：

SELECT count(1) FROM world.city where CountryCode = 'CHN';
+----------+
| count(1) |
+----------+
|      363 |
+----------+
1 row in set (0.00 sec)

创建表

use world
Database changed
delimiter $$
CREATE definer=`root`@`localhost` PROCEDURE `product_test`()
BEGIN
    #Routine body goes here...
    CREATE TABLE product_test like shop.product;
END$$

out:

Query OK, 0 rows affected (0.01 sec)

调用：

delimiter $$
call `product_test`();

mysql> show tables $$
+-----------------+
| Tables_in_world |
+-----------------+
| city            |
| country         |
| countrylanguage |
| product_test    |
+-----------------+
4 rows in set (0.00 sec)

插入数据

CREATE DEFINER=`root`@`localhost` PROCEDURE `insert_product_test`()
BEGIN
    declare i int;
    set i=1;
    while i<9 do
        set @pcid = CONCAT('000', i);
        PREPARE stmt FROM 'INSERT INTO product_test() SELECT * FROM shop.product where product_id= ?';
        EXECUTE stmt USING @pcid;
        set i=i+1;
    end while;
END $$

调用过程，并查询是否插入成功：

mysql> call `insert_product_test`()
    -> $$
Query OK, 1 row affected (0.03 sec)

mysql> select * from product_test;
    -> $$
+------------+--------------+--------------+------------+----------------+-------------+
| product_id | product_name | product_type | sale_price | purchase_price | regist_date |
+------------+--------------+--------------+------------+----------------+-------------+
| 0001       | T恤衫        | 衣服         |       1000 |            500 | 2009-09-20  |
| 0002       | 打孔器       | 办公用品     |        500 |            320 | 2009-09-11  |
| 0003       | 运动T恤      | 衣服         |       4000 |           2800 | NULL        |
| 0004       | 菜刀         | 厨房用具     |       3000 |           2800 | 2009-09-20  |
| 0005       | 高压锅       | 厨房用具     |       6800 |           5000 | 2009-01-15  |
| 0006       | 叉子         | 厨房用具     |        500 |           NULL | 2009-09-20  |
| 0007       | 擦菜板       | 厨房用具     |        880 |            790 | 2008-04-28  |
| 0008       | 圆珠笔       | 办公用品     |       5000 |           NULL | 2009-11-11  |
+------------+--------------+--------------+------------+----------------+-------------+
8 rows in set (0.00 sec)

4. 预处理声明 PREPARE Statement

MySQL 从4.1版本开始引入了 PREPARE Statement 特性，使用 client/server binary protocol 代替 textual protocol，其将包含占位符（）的查询传递给 MySQL 服务器，如以下示例所示：

SELECT * 
FROM products 
WHERE productCode = ?;

当MySQL使用不同的 productCode 值执行此查询时，它不必完全解析查询。因此，这有助于MySQL更快地执行查询，特别是当MySQL多次执行相同的查询时。productcode

由于预准备语句使用占位符（），这有助于避免 SQL 注入的许多变体，从而使应用程序更安全。

基本语法：

prepare stmt_name FROM preparable_stmt

4.1 使用步骤

MySQL PREPARE Statement 使用步骤如下：

PREPARE – 准备需要执行的语句预处理声明。
EXECUTE – 执行预处理声明。
DEALLOCATE PREPARE – 释放预处理声明。

4.2 使用示例

这里使用 shop 中的 product 表进行演示。

首先，定义预处理声明如下：

prepare stmt1 FROM 
	'SELECT 
   	    product_id, 
        product_name 
	FROM product_test
        WHERE product_id = ?'; $$

其次，声明变量 pcid，代表商品编号，并将其值设置为 0005：

SET @pcid = '0005'; $$

第三，执行预处理声明：

EXECUTE stmt1 USING @pcid; $$

out:
+------------+--------------+
| product_id | product_name |
+------------+--------------+
| 0005       | 高压锅       |
+------------+--------------+
1 row in set (0.00 sec)

第四，为变量 pcid 分配另外一个商品编号：

SET @pcid = '0008'; 

out:
Query OK, 0 rows affected (0.00 sec)

第五，使用新的商品编号执行预处理声明：

EXECUTE stmt1 USING @pcid; $$

+------------+--------------+
| product_id | product_name |
+------------+--------------+
| 0008       | 圆珠笔       |
+------------+--------------+
1 row in set (0.00 sec)

最后，释放预处理声明以释放其占用的资源：

deallocate PREPARE stmt1; $$

Query OK, 0 rows affected (0.00 sec)

练习题

请说出针对本章中使用的 product（商品）表执行如下 SELECT 语句所能得到的结果。

SELECT
	product_id,
	product_name,
	sale_price,
	MAX(sale_price) OVER (ORDER BY product_id) Current_max_price
FROM
	world.product_test;
	
+------------+--------------+------------+-------------------+
| product_id | product_name | sale_price | Current_max_price |
+------------+--------------+------------+-------------------+
| 0001       | T恤衫        |       1000 |              1000 |
| 0002       | 打孔器       |        500 |              1000 |
| 0003       | 运动T恤      |       4000 |              4000 |
| 0004       | 菜刀         |       3000 |              4000 |
| 0005       | 高压锅       |       6800 |              6800 |
| 0006       | 叉子         |        500 |              6800 |
| 0007       | 擦菜板       |        880 |              6800 |
| 0008       | 圆珠笔       |       5000 |              6800 |
+------------+--------------+------------+-------------------+
8 rows in set (0.00 sec)

继续使用product表，计算出按照登记日期（regist_date）升序进行排列的各日期的销售单价（sale_price）的总额。排序是需要将登记日期为NULL 的“运动 T 恤”记录排在第 1 位（也就是将其看作比其他日期都早）

SELECT
	product_id,
	product_name,
	sale_price,
	sum(sale_price) OVER (ORDER BY regist_date) Current_sum_price
FROM
	world.product_test
	order by regist_date;
	
+-------------+------------+--------------+------------+-------------------+
| regist_date | product_id | product_name | sale_price | Current_sum_price |
+-------------+------------+--------------+------------+-------------------+
| NULL        | 0003       | 运动T恤      |       4000 |              4000 |
| 2008-04-28  | 0007       | 擦菜板       |        880 |              4880 |
| 2009-01-15  | 0005       | 高压锅       |       6800 |             11680 |
| 2009-09-11  | 0002       | 打孔器       |        500 |             12180 |
| 2009-09-20  | 0001       | T恤衫        |       1000 |             16680 |
| 2009-09-20  | 0004       | 菜刀         |       3000 |             16680 |
| 2009-09-20  | 0006       | 叉子         |        500 |             16680 |
| 2009-11-11  | 0008       | 圆珠笔       |       5000 |             21680 |
+-------------+------------+--------------+------------+-------------------+
8 rows in set (0.00 sec)

思考题

① 窗口函数不指定PARTITION BY的效果是什么？

不指定 partition by ，相当于整个表就是一个窗口，不按照类别或其他字段进行分小窗口了。

② 为什么说窗口函数只能在SELECT子句中使用？实际上，在ORDER BY 子句使用系统并不会报错。

因为窗口函数不改变原来数据表的任何记录，只是在原有表的基础上增加列进行数据汇总。

本质上是因为 SQL 语句的执行顺序。

FROM → WHERE → GROUP BY → HAVING → SELECT → ORDER BY

如果在 WHERE, GROUP BY, HAVING 使用了窗口函数(属于SELECT 语句)，就是说提前进行了一次排序，排序之后再去除记录、汇总、汇总过滤，第一次排序结果就是错误的，没有实际意义。而 ORDER BY 语句执行顺序在 SELECT 语句之后，自然是可以使用的。

使用简洁的方法创建20个与 shop.product 表结构相同的表

use world
Database changed
delimiter $$
DROP PROCEDURE IF EXISTS `product_create_test` $$

CREATE DEFINER=`root`@`localhost` PROCEDURE `create_multi_table`()
BEGIN
    #Routine body goes here...
    declare i int;
    set i=1;
    while i<21 do
        IF i<10 THEN
            set @tb = CONCAT('create table table0',i,' like shop.product');
        ELSE
            set @tb = CONCAT('create table table', i,' like shop.product');
        END IF;
        PREPARE create_stmt FROM @tb;
        EXECUTE create_stmt;
        SET i=i+1;
    end while;

END $$

call `create_multi_table`();$$