MySQL大数据表处理的三种方案，查询效率嘎嘎高

最新推荐文章于 2024-10-17 16:10:42 发布

z1ztai

最新推荐文章于 2024-10-17 16:10:42 发布

阅读量4.2k

点赞数 1

文章标签： mysql 大数据数据库

本文链接：https://blog.csdn.net/z1ztai/article/details/129423437

版权

本文探讨了在MySQL中处理大数据表时遇到的问题，如查询时间长和扩展困难。通过评估表数据体量，包括表容量、磁盘空间和实例容量，提出了解决方案。当数据量过大时，查询性能下降主要是因为B+树结构层级增高导致的磁盘IO增多。解决方案包括数据表分区、分库分表和冷热数据归档。数据表分区可以降低查询范围，提高查询效率；分库分表通过水平和垂直分表降低单表数据量；冷热数据归档则将冷数据移至其他库表，优化热数据操作效率。根据业务场景选择合适的方案能有效提升数据库性能。

摘要由CSDN通过智能技术生成

场景

当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题

数据的插入,查询时长较长
后续业务需求的扩展在表中新增字段影响较大
表中的数据并不是所有的都为有效数据需求只查询时间区间内的

评估表数据体量

我们可以从表容量/磁盘空间/实例容量三方面评估数据体量，接下来让我们分别展开来看看

表容量

表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行评估。一般对于OLTP的表，建议单表不要超过2000W行数据量，总大小15G以内。访问量：单表读写量在1600/s以内

查询行数据的方式：我们一般查询表数据有多少数据时用到的经典sql语句如下：

select count(*) from table
select count(1) from table

但是当数据量过大的时候，这样的查询就可能会超时，所以我们要换一种查询方式

use 库名
show table status like '表名' ; 
或：show table status like '表名'\G ;

上述方法不仅可以查询表的数据，还可以输出表的详细信息 , 加 \G 可以格式化输出。包括表名存储引擎版本行数每行的字节数等等，大家可以自行试一下哈

磁盘空间

查看指定数据库容量大小

select
table_schema as '数据库',
table_name as '表名',
table_rows as '记录数',
truncate(data_length/1024/1024, 2) as '数据容量(MB)',
truncate(index_length/1024/1024, 2) as '索引容量(MB)'
from information_schema.tables
order by data_length desc, index_length desc;