Mysql数据库10万条数据多表联合查询速度过慢解决方案

最新推荐文章于 2024-07-22 03:14:11 发布
最新推荐文章于 2024-07-22 03:14:11 发布
阅读量1.4w 收藏 26
点赞数 7
分类专栏： 项目随记 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41348754/article/details/105422383
版权

点我，查看原文

问题描述

今天在写项目时发现之前好好的查询接口突然挂了🤔，检查后发现原来是有人往数据里新增了10万条数据，以至于Mysql语句执行的特别慢就不行了。

原因

原因也简单这个接口原本是一张组织机构表关联区域表、组织标准类型表、币种表、行业分类标准表等多张表的联合查询。按照下图的写法已经写了limit分页只取10条，可Mysql确实会很认真的先帮你把10万条数据的外键关系先建立起来，然后在拿最上面的10条给你。emmmmm……🐴🥚
在这里插入图片描述
所以数据量一旦多起来后，Mysql的遍历查询结果就不尽人意，10万条语句这一次查询差不多就要3分多钟。

解决思路

解决思路也很简单，我目前想到的做法就是在Mysql与关联表进行关联操作之前，先通过分页、查询条件、约束等减小它的范围。简单点说就是，先查再建视图。

实际步骤

直接放优化后的语句叭
在这里插入图片描述

效果展示

最后再看看优化后的速度
在这里插入图片描述
0.083秒。恩……真香！🎉

Pokio呀
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
盘点数据库慢查询的12个原因
m0_67698950的博客
05-30 8545
前言 日常开发中，我们经常会遇到数据库慢查询。那么导致数据慢查询都有哪些常见的原因？大家聊聊导致数据库慢查询的12个常见原因，以及对应的解决方法。 1. SQL没加索引 很多时候，我们的慢查询，都是因为没有加索引。如果没有加索引的话，会导致全表扫描的。因此，应考虑在where的条件列，建立索引，尽量避免全表扫描。 反例： select * from user_info where name = 正例： //添加索引 alter table user_info add index
mysql 百万级别 表 慢_百万级数据表查询速度过慢
weixin_42556197的博客
01-28 2012
本人有这样一张数据表，结构如下：CREATETABLEIFNOTEXISTSAlarmInfo(GuidVARCHAR(50)PRIMARYKEYNOTNULL,DBMVARCHAR(6)NOTNULL,AlarmTypeINT(12)NOTNULL,AlarmLevelINT(12)NOTNULL,BgnTimedatetimeNOTNULL,Reco...
mysql几万条数据慢
最新发布
weixin_40733884的博客
07-22 40
MySQL几万条数据查询慢的原因及优化方法 在数据库的日常使用中，我们经常会遇到查询速度慢的问题，尤其是在数据量达到几万条时。本文将分析查询慢的原因，并提供一些优化方法。 一、查询慢的原因 索引缺失：没有为查询条件创建合适的索引，导致数据库需要进行全表扫描。 数据量大：数据量过大，即使有索引，查询速度也会受到影响。 查询...
mysql十万条信息检索慢_MySQL的查询性能优化(1)
weixin_35422396的博客
02-18 1226
使用EXPLAIN语句检查SQL语句 当你在一条SELECT语句前放上关键词EXPLAIN，MySQL解释它将如何处理SELECT，提供有关表如何联结和以什么次序联结的信息。 借助于EXPLAIN，你可以知道你什么时候必须为表加入索引以得到一个使用索引找到记录的更快的SELECT。 EXPLA使用EXPLAIN语句检查SQL语句当你在一条SELECT语句前放上关键词EXPLAIN，MySQL解释它...
【MySQL】才 10W 条数据就查询超时了！！！
qq_32460431的博客
07-07 1062
研究一下在MySQL中关联关系表的设计
mysql 两表联合查询数据多了很慢
yehaifanxing的专栏
08-24 1万+
1、不要直接去关联表名查询，在关联表外加个select查询。 select * from tab1 a inner join (select * from tab2) b on a.fld1=b.fld2  2、主表有条件先select一遍主表，关联表有条件最好放最后where后（注意：条件放最后和放关联表中查询有时是不一样的） select * from （select * from ta...
mysql多数据表关联查询慢问题解决方案
热门推荐
xia_2017的博客
07-14 1万+
遇到一个问题，mysql库下表A有几万条数据；表B也有几万条数据，结果两表关联的时候，查询超级慢，30s内没反应。 解决方案： 1. 加索引，但索引不要乱加，两表关联，必须要创建的索引是两表的管理字段 e.g select * from A t1 left join B t2 on t1.did= t2.did and t1.uid = t2.uid 这种情况下，一定要给A表的uid和did创建索引，如果uid值是唯一那就创建唯一所引UNIQUE;否则就创建normal索引。 基本上加索引之后，.
sql执行报错---＞1094 unknow thread id
sias_Amazing的博客
10-16 5797
全表查询数据查询失败（大概有180万条） 报错信息 sql执行报错—>1094 什么unknow thread id 优化并解决 具体原因是一次查询超时，导致sql未执行完并且报错 优化sql 分页查询并且一次只查询1000进行处理，本身就是定时任务，所以耗时并不影响 图片: ...
几十张表关联查询效率慢
weixin_49186526的博客
03-10 2398
首先你会想到，给表加索引，那么mysql会给主键自动建立索引吗? 会的，当然会。 在我们查询的业务表操作的时候，表业务数据庞大起来的时候，以及left join多的时候，甚至多表关联到几十张表的时候，查询是慢到外婆家里去了。 这时候，只需要给表join查询的字段，及表结构，进行索引优化，即可解决这个慢的问题。 一，首先利用explain 关键字对查询的SQL进行分析。 # type=ALL，全表扫描，MySQL遍历全表来找到匹配行 # type=index，索引全扫描，MySQL遍历整个索引来查询
mysql 查询40w数据慢_MySQL 40W数据量查询时 使用order by效率过低 解决方案
weixin_35860326的博客
01-18 1613
刚刚进入到程序员行业，文章旨在记录工作中遇到的各项问题，积累经验刚接到一个任务 要求优化一段SQL语句 语句如下[SQL]SELECT m.rd,m.certificate_num,m.agree_file,m.agree_date,m.agree_unit_num,m.level_num,m.name,m.sex,m.birthday,m.id_card,m.unit,m.item_num,m....
mysql事务select数据慢_mysql查询缓慢原因和解决方案
weixin_31582099的博客
01-18 2494
查询速度慢的原因很多，常见如下几种：1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷)2、I/O吞吐量小，形成了瓶颈效应。3、没有创建计算列导致查询不优化。4、内存不足5、网络速度慢6、查询出的数据量过大(可以采用多次查询，其他的方法降低数据量)7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷)8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。9...
mysql update 几万 非常慢_mysql查询慢的原因和解决方案
weixin_39636857的博客
12-24 4210
查询速度慢的原因很多，常见如下几种：1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷)2、I/O吞吐量小，形成了瓶颈效应。3、没有创建计算列导致查询不优化。4、内存不足5、网络速度慢6、查询出的数据量过大(可以采用多次查询，其他的方法降低数据量)7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷)8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。9...
【MySQL】表数据越来越多，查询越来越慢怎么办？
gossip博客
12-03 2395
前提是已经考虑了索引的问题，但因为数据量大导致读表的增删改查还是很慢 解决方案建议 　　1. 历史数据归档 　　2. 数据分表 一. 历史数据归档 1.1 方案 　　1. 根据时间范围查找需要删除的数据 　　2. 如果主键是有序的，可以根据时间范围查找到临界主键进行删除 　　3. 创建临时表，迁移数据（排除需归档数据），再修改临时表为原表（需要停机） 1 2 3 4 5 6 7 8 9 ...
分分钟解决MySQL查询速度慢与性能差
weixin_34088838的博客
03-18 1493
阅读本文大概需要 6 分钟。一、什么影响了数据库查询速度1.1 影响数据库查询速度的四个因素1.2 风险分析QPS： QueriesPerSecond意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。TPS： 是 TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开...
mysql多表联查使用排序之后执行速度变慢
quequnlong的博客
08-24 1469
经常在开发中会对数据库表进行多表关联查询，同时也会根据字段排序，在实际开发中根据时间字段排序是经常会出现的，在数据量少的情况下通常不会发现查询速度慢的问题，一旦数据变多就会发现查询起来的速度很慢，就好比今天我就接到一个需求就是优化查询，一开始以为只是多表关联查询引起的，结果发现是时间排序导致的，就如下图加了时间排序时的语句和执行时间select可以看到所花费足足10秒多去掉时间排序后select可以看到一秒不到就执行完了，由此可见执行慢就是时间排序引起的问题，那么如何解决呢。
mysql group by 查询慢_MySQL 表上做查询慢出现状况-爱可生
weixin_39966602的博客
12-03 327
问题我们有一个 SQL，用于找到没有主键 / 唯一键的表，但是在 MySQL 5.7 上运行特别慢，怎么办？实验我们搭建一个 MySQL 5.7 的环境，此处省略搭建步骤。写个简单的脚本，制造一批带主键和不带主键的表：执行一下脚本：现在执行以下 SQL 看看效果：...执行了 16.80s，感觉是非常慢了。现在用一下 DBA 三板斧，看看执行计划：感觉有点惨，由于 information_sche...
mysql 联表查询慢的问题
weixin_44084610的博客
11-23 826
联表查询慢一般有几种情况。
mysql十万条信息检索慢_MySQL 一般查询日志或者慢查询日志历史数据的清理
weixin_35875219的博客
02-08 334
general log&slow query log对于MySQL的一般查询日志和慢查询日志，开启比较简单，其中公用的一个参数是log_output，log_output控制着慢查询和一般查询日志的输出方向 可以是表(mysql.general_log,mysql.slow_log)或者文件(有参数general_log_file和slow_query_log_file配置决定) 或者同时...
MySQL联表查询慢的原因
qq_43511320的博客
07-26 382
2，联表的两张表字符字符集不一致，utf8和utf8mb4。1，没有加索引或是索引未生效。
python循环插入mysql数据库10万条数据
07-12
你可以使用Python的循环和MySQL连接库来插入10万条数据到MySQL数据库。下面是一个示例代码： ```python import mysql.connector # 连接到MySQL数据库 cnx = mysql.connector.connect( host="localhost", user="your_username", password="your_password", database="your_database" ) cursor = cnx.cursor() # 循环插入数据 for i in range(100000): # 构造要插入的数据 id = i name = f'name{i}' age = 20 + i % 10 # 添加其他字段和数据 # 构造插入语句 insert_query = f"INSERT INTO your_table (id, name, age) VALUES ({id}, '{name}', {age})" # 执行插入操作 cursor.execute(insert_query) # 提交事务 cnx.commit() # 关闭连接 cursor.close() cnx.close() ``` 请确保将代码中的`your_username`，`your_password`，`your_database`，`your_table`替换为你的数据库信息和表名。并根据你的实际需求修改插入的字段和数据。 请注意，插入大量数据可能需要一些时间，请确保你的数据库服务器能够处理这么多数据的插入操作。如果你需要更高效的插入方式，可以考虑使用批量插入或者使用ORM框架来简化操作。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值