MySQL分表后，如何做分页查询？

最新推荐文章于 2025-02-10 20:58:38 发布

胡八一、

最新推荐文章于 2025-02-10 20:58:38 发布

阅读量2k

点赞数 1

分类专栏： # mysql 文章标签： mysql 数据库 java

本文链接：https://blog.csdn.net/qq_44732146/article/details/127616258

版权

mysql 专栏收录该内容

19 篇文章

订阅专栏

项目运行久了，单表数据过大，查询效率低，需对单表进行拆分。本文以MySQL为例，介绍了将单表拆分为多表的过程，还探讨了表拆分后分页的实现方法，指出主表是分表数据的并集，可利用主表实现数据查询分页。

摘要由CSDN通过智能技术生成

随着项目运行的时间越来越长，有些数据的存储也会越来越大，比如一些点击量，浏览量量，单表的数据可以到达上千万条数据，这时候会存在单表数据过大，查询效率低的问题。

为了提高查询效率这时候需要对单表进行拆分，比如一张1000万条数据的表，我们需要把它拆分为10张表，一张表就需要100万，mysql中单表都有一个最大存储的阈值，数据量不能超过这个值；

分表之间，我们需要去生产一个上万条的数据的表，这里我生产了如下的数据：
创建dd_user表：

DROP table IF EXISTS dd_user;
create table dd_user(
    id bigint primary key auto_increment ,
    name varchar(20),
    age tinyint not null default '0'
)ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1;

创建插入数据的存储过程:

DELIMITER $$
CREATE PROCEDURE insert_data_dd_user(count_ INT)
BEGIN
DECLARE i INT;
SET i =1;
WHILE(i<=count_) DO
INSERT into dd_user(id,name,age)VALUES (i,concat('张三',i),20);
SET i = i+1;
END WHILE;
COMMIT;
END;

调用存储过程:

# 插入2万的数据
call insert_data_dd_user(20000);

在这里插入图片描述

我需要对这张表进行拆分多张，我这里拆分了2张表；

第一步：

表一：

DROP table IF EXISTS tb_member1;
create table tb_member1(
    id bigint primary key auto_increment ,
    name varchar(20),
    age tinyint not null default '0'
)ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

表二：

DROP table IF EXISTS tb_member2;
create table tb_member2(
    id bigint primary key auto_increment ,
    name varchar(20),
    age tinyint not null default '0'
)ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

接下来开始进行拆分：

insert into tb_member1(id,name,age) select id,name,age from dd_user where id%2=0;
insert into tb_member2(id,name,age) select id,name,age from dd_user where id%2=1;

在这里插入图片描述
这时候表基本是已经拆分完成。

接下来，我们需要考虑的是一张user表被拆分成2张表，那分页如何实现呢？

第一步：

创建一个主表：

DROP table IF EXISTS tb_member_all;
create table tb_member_all(
id bigint primary key auto_increment ,
name varchar(20),
age tinyint not null default '0'
)ENGINE=MERGE UNION=(tb_member1,tb_member2) INSERT_METHOD=LAST CHARSET=utf8 AUTO_INCREMENT=1 ;

在这里插入图片描述

执行上述出现如下问题：

ERROR 1168 (HY000): Unable to open underlying table which is differently defined
or of non-MyISAM type or doesn't exist

需要检查：

查看上面的分表数据库引擎是不是MyISAM.
查看分表与指标的字段定义是否一致。
上述的都成功以后，我们会发现，你在member1或者member2中创建数据member_all表中也会出现同样的数据

所以：tb_member_all表就是tb_member1，tb_member2的并集，刚刚实现到这里，我也没理解，后来看了一些文档，了解了一下：
在这里插入图片描述
其实tb_member_all表里面是没有存储数据，它就是一个外壳，里面的数据是tb_member1，tb_member2的并集，数据的存储是放在分表中；

这时候，我们就豁然开朗了，利用这个tb_member_all，我们就可以实现数据查询的分页；