本文通过创建和填充一千万条数据的表，展示了在MySQL中进行全表查询和分页查询的性能影响。随着数据量和偏移量的增加，查询时间显著增长。提出了优化策略，包括使用子查询定位偏移位置、减少返回字段数量以及利用id的连续性进行between查询，以提高查询效率。同时强调了避免使用SELECT*的重要性，因为它会增加数据库负担和网络开销。
前言
也许有些人没遇过上千万数据量的表，也不清楚查询上千万数据量的时候会发生什么。
今天就来带大家实操一下，这次是基于MySQL8.0.26做测试
准备数据
没有一千万的数据怎么办？
创建呗
代码创建一千万？那是不可能的，太慢了，可能真的要跑一天。可以采用数据库脚本执行速度快很多。
创建表
CREATE TABLE `user_operation_log` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`ip` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`op_data` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr4` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr5` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr6` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr7` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr8` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr9` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr10` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr11` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
`attr12` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
创建数据脚本
采用批量插入，效率会快很多，而且每1000条数就commit，数据量太大，也会导致批量插入效率慢
DELIMITER ;;
CREATE PROCEDURE batch_insert_log()
BEGIN
DECLARE i INT DEFAULT 1;
DECLARE userId INT DEFAULT 10000000;
set @execSql = 'INSERT INTO `test`.`user_operation_log`(`user_id`, `ip`, `op_data`, `attr1`, `attr2`, `attr3`, `attr4`, `attr5`, `attr6`, `attr7`, `attr8`, `attr9`, `attr10`, `attr11`, `attr12`) VALUES';
set @execData = '';
WHILE i<=10000000 DO
set @attr = "'测试很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长的属性'";
set @execData = concat(@execData, "(", userId + i, ", '10.0.69.175', '用户登录操作'", ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ")");
if i % 1000 = 0
then
set @stmtSql = concat(@execSql, @execData,";");
prepare stmt from @stmtSql;
execute stmt;
DEALLOCATE prepare stmt;
commit;
set @execData = "";
else
set @execData = concat(@execData, ",");
end if;
SET i=i+1;
END WHILE;
END;;
DELIMITER ;
调用
call batch_insert_log(); PS :一千万的数据太大了，根据自己电脑配置适当调整参数，免得GG
开始测试
先查下有多少数据
SELECT count(1) FROM `user_operation_log`
先全表查下 查询时间：
-
23447 ms
我这电脑配置不行 查询多了直接卡死
普通分页查询
MySQL 支持 LIMIT 语句来选取指定的条数数据， Oracle 可以使用 ROWNUM 来选取。
MySQL分页查询语法如下：
SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset
-
第一个参数指定第一个返回记录行的偏移量
-
第二个参数指定返回记录行的最大数目
下面我们开始测试查询结果：
select * from user_operation_log limit 10000,10查询3次时间分别为：
-
59 ms
-
69 ms
-
61 ms
这样看起来速度还行，不过是本地数据库，速度自然快点。
换个角度来测试
相同偏移量，不同数据量
select * from user_operation_log limit 10000,10
select * from user_operation_log limit 10000,100
select * from user_operation_log limit 10000,1000
select * from user_operation_log limit 10000,10000
select * from user_operation_log limit 10000,100000
select * from user_operation_log limit 10000,1000000
查询时间如下：
图片
从上面结果可以得出结束：数据量越大，花费时间越长
相同数据量，不同偏移量
select * from user_operation_log limit 100,100
select * from user_operation_log limit 1000,100
select * from user_operation_log limit 10000,100
select * from user_operation_log limit 100000,100
select * from user_operation_log limit 1000000,100
图片
从上面结果可以得出结束：偏移量越大，花费时间越长
select * from `user_operation_log` limit 100,100
select id, attr1 from `user_operation_log` limit 100,100如何优化
既然我们经过上面一番的折腾，也得出了结论，针对上面两个问题：偏移大、数据量大，我们分别着手优化
优化偏移量大问题
采用子查询方式
我们可以先定位偏移位置的 id，然后再查询数据
select
*
from
user_operation_log
limit 1000000,10
-- ------------
select
id
from
user_operation_log
limit 1000000,1
-- -------------
select
*
from
user_operation_log
where
id >= (select id from
user_operation_log
limit 1000000,1)
limit 10
查询结果如下：
从上面结果得出结论：
-
第一条花费的时间最大，第三条比第一条稍微好点
-
子查询使用索引速度更快
缺点：只适用于id递增的情况
id非递增的情况可以使用以下写法，但这种缺点是分页查询只能放在子查询里面
注意：某些 mysql 版本不支持在 in 子句中使用 limit，所以采用了多个嵌套select
SELECT *
from
`user_operation_log`
where
id in (
select
t.id
from
(
select
id
from
`user_operation_log`
limit 1000000,
10) as t)
采用 id 限定方式
这种方法要求更高些，id必须是连续递增，而且还得计算id的范围，然后使用 between，sql如下
select
*
from
`user_operation_log`
where
id between 1000000 and 1000100
limit 100
-- ----------------------
select
*
from
`user_operation_log`
where
id >= 1000000
limit 100查询结果如下：
图片
从结果可以看出这种方式非常快
注意：这里的 LIMIT 是限制了条数，没有采用偏移量
优化数据量大问题
返回结果的数据量也会直接影响速度
select
*
from
`user_operation_log`
limit 1,1000000
-- --------------------
select
id
from
`user_operation_log`
limit 1,1000000
-- -----------------------
select
id,
user_id,
ip,
op_data,
attr1,
attr2,
attr3,
attr4,
attr5,
attr6,
attr7,
attr8,
attr9,
attr10,
attr11,
attr12
from
`user_operation_log`
limit 1,
1000000查询结果如下：
图片
从结果可以看出减少不需要的列，查询效率也可以得到明显提升
第一条和第三条查询速度差不多，这时候你肯定会吐槽，那我还写那么多字段干啥呢，直接 * 不就完事了
注意本次的MySQL 服务器和客户端是在_同一台机器_上，所以查询数据相差不多，有条件的可以测测客户端与MySQL分开
SELECT * 它不香吗？
在这里顺便补充一下为什么要禁止 SELECT *。难道简单无脑，它不香吗？
主要两点：
-
用 "SELECT * " 数据库需要解析更多的对象、字段、权限、属性等相关内容，在 SQL 语句复杂，硬解析较多的情况下，会对数据库造成沉重的负担。
-
增大网络开销，* 有时会误带上如log、IconMD5之类的无用且大文本字段，数据传输size会几何增涨。特别是MySQL和应用程序不在同一台机器，这种开销非常明显。
619
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
