MYSQL一次千万级连表查询优化(二)

这篇博客分享了一次SQL优化经验,针对一个日益变慢的查询,该查询涉及两个表:攻击IP用户表和IP攻击次数表。未优化时,查询耗时300多秒。通过将内联表查询替换为子查询,逐步筛选条件,最终优化后的查询时间降至0.28秒,性能提升1000多倍。文章强调了先对单表进行条件处理再进行连表查询的重要性。
摘要由CSDN通过智能技术生成

概述:

交代一下背景,这算是一次项目经验吧,属于公司一个已上线平台的功能,这算是离职人员挖下的坑,随着数据越来越多,原本的SQL查询变得越来越慢,用户体验特别差,因此SQL优化任务交到了我手上。
这个SQL查询关联两个数据表,一个是攻击IP用户表主要是记录IP的信息,如第一次攻击时间,地址,IP等等,一个是IP攻击次数表主要是记录每天IP攻击次数。而需求是获取某天攻击IP信息和次数。(以下SQL语句测试均在测试服务器上上,正式服务器的性能好,查询时间快不少。)

准备:

查看表的行数:
这里写图片描述
这里写图片描述
未优化前SQL语句为:


                
  • 31
    点赞
  • 78
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Spring Boot是一个开源的Java框架,它可以帮助开发者快速构建基于Java的应用程序。而MySQL是一个常见的关系型数据库系统,可以用于存储和管理大量的数据。 当需要查询千万级大表时,可以考虑以下几点来提高查询性能: 1. 索引优化:在表的关键字段上创建索引,可以加快数据的检索速度。尽量避免使用全表扫描的方式进行查询,通过合理的索引设计可以减少数据库的IO操作。 2. 分页查询:针对大表的查询,可以采用分页的方式进行查询,每次只查询一部分数据。通过设置合适的分页大小,可以避免一次性查询过多的数据,降低数据库压力。 3. 避免使用不必要的列:在查询时,只选择需要的列,避免查询全部的列。这样可以减少数据传输的开销,提高查询效率。 4. 缓存优化:使用缓存可以减少对数据库的访问次数,提高查询性能。可以考虑使用Redis等缓存技术,将查询结果缓存起来,并设置合适的过期时间,避免缓存数据过期后的查询压力。 5. 分库分表:当数据量非常庞大时,可以考虑将表拆分为多个小表,或者将数据存储到多个数据库中。这样可以减少单个表或数据库的数据量,提高查询效率。 6. 数据库优化:对数据库参数进行优化,合理配置数据库的缓存大小、线程池大小等参数,可以提高数据库的并发处理能力。 总结来说,对于千万级大表的查询优化,需要通过索引优化、分页查询、避免不必要的列、缓存优化、分库分表以及数据库参数优化等方式来提高查询性能。同时,也需要根据具体的业务需求和数据情况进行适当的调整和优化
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值