MySQL 数据库调优

置顶 已于 2023-04-03 16:02:03 修改
阅读量1.7k 收藏 1
点赞数 2
分类专栏： SQL PLSQL 文章标签： 数据库 sql mysql
于 2021-05-19 11:22:08 首次发布
by SillyGoose
本文链接：https://blog.csdn.net/weixin_45884459/article/details/116484031
版权
PLSQL 同时被 2 个专栏收录
5 篇文章 0 订阅
订阅专栏
SQL
2 篇文章 0 订阅
订阅专栏

数据库查询语句调优录

SQL调优的三个方向:

  • 数据库对象的设计
  • 常规查询语句的编写注意事项
  • 根据SQL的执行计划进行定向优化

1. 数据库对象优化

数据库对象的设计优劣直接决定了SQL语句执行性能的上限,如果设计不当会导致很多的性能问题.

1.1 字段类型的优化

  • 字段类型尽量短
  • 字段类型尽量高效: 整型>浮点型>字符串
  • 字段类型的长度需要设计冗余,避免后期因业务变更导致需要更改数据库结构

1.2 表的拆分

影响表的查询效率的一个比较大的因素是数据量.
为了避免因数据量的增多而导致SQL语句执行缓慢,在表的设计初期会考虑表的拆分操作.一般表的拆分分为两种:

  • 水平表拆分:分区-RANGE,LIST,HASH,KEY等.
  • 垂直表拆分:根据业务逻辑将一张表中常用列和非常用列拆分出来,使得单条数据行变小,提高查询效率,但查询所有数据需要JOIN操作(使用join会使查询效率变低).

1.3 反范式操作

数据库表的范式设计能使得表之间的结构清晰,表之间的关系复杂,表之间的JOIN操作频繁,而JOIN操作属于性能较低的操作,会影响查询性能.因此对于一些JOIN查询较多的业务场景,需要根据实际情况采用反范式的方式来对数据库进行设计.

  • 增加冗余列:在多个表中具有相同的列;
  • 增加派生列:增加的列来自其他表数据或有其他表的数据计算生成,避免使用集函数;
  • 重新生表: 用户经常那个需要查看多个表的JOIN结果,把这些表重新组成一个表;
  • 分割表:表的拆分操作;

1.4 中间表设计

针对某些特定数据量比较大的表,用户需要先筛选然后做分析时,中间表的设计会使得查询效率变高.

  • 中间表需要和源表结构完全相同.
  • 一般先将需要统计的表数据转移到中间表上,然后再中间表上做统计
  • 中间表的设计有如下优点:
    • 与源表’隔离’,在中间表上做统计操作不会对源表产生影响
    • 中间表可以灵活添加索引或新增临时的新字段从而提高查询效率和辅助统计查询.

1.5 索引设计

索引建立和使用规则

  • 索引字段尽量小;
  • 最左前匹配原则;
  • =和in可以乱序;
  • 尽量选择区分度高的列作为索引列
  • 索引列不能参与计算,保持列’干净’
  • 尽量地扩展索引,不要新建索引

索引失效的情况:

  1. 组合索引不遵循最左匹配原则
    (存在组合索引(age,name) 则age=1, age=1 and name= ‘jia’ , name=‘jia’ and age=1 三种情况下索引生效,单一个 name=‘jia’ 不满足最左匹配,会导致索引失效 )
  2. 组合索引的前面索引列使用范围查询(<.>,like),会导致后续的索引失效
  3. 不要在索引上做任何操作（计算，函数，类型转换)
  4. is null和is not null无法使用索引
  5. 尽量少使用or操作符，否则连接时索引会失效
  6. 字符串不添加引号会导致索引失效
  7. 两表关联使用的条件字段中字段的长度、编码不一致会导致索引失效
  8. like语句中，以%开头的模糊查询
  9. 如果mysql中使用全表扫描比使用索引快，也会导致索引失效

2 常见的SQL语句调优

  • 当使用INSERT插入多行记录时,使用INSERT INTO table_name VALUES () , (),…();
  • SELECT语句尽量不要使用*
  • 尽量少使用GROUP BY,一般建议通过关联查询和DISTINCT代替
    • GROUP BY非要用的话,在分组字段上添加索引
  • 查询一条记录时,使用 LIMIT 1.
  • 灵活的使用EXISTS和IN,NOT EXISTS和NOT IN:
    • EXISTS和IN:有两个待查询的表,当两表数据量差别不大时,使用起来差别不大;若两个表一大一小,则子查询大表时,推荐使用EXISTS;子查询小表时,推荐使用IN,例:
      • A表>B表: select * from A where id in (select id from B);
      • A表<B表: select * from A where exists ( select 1 from B where B.id=A.id);
    • NOT EXISTS和NOT IN: 用NOT EXISTS总是比NOT IN效率高
  • 多用函数,根据业务需求搭配合适的函数,减少数据再转换
  • 大量数据插入时,先删除索引及约束并关闭自动提交,等数据插入完成后,再重新创建索引和约束
  • 适当添加索引
  • 不提倡使用JOIN,但若不得不用时,需要注意使用JOIN时要以小表去驱动大表.例:小表 left join 大表

3. 根据EXPLAIN的SQL执行计划进行SQL调优

3.1 调优步骤

  1. 查看type类型为All的计划(即进行全表扫描的SQL).优化查询逻辑

  2. 查看extra为Using where的计划,进行索引向的优化.

  3. 对于创建了索引但未生效的计划,可以使用Hint语法强制使用索引(需要适配使用索引的原则)
    SELECT 某字段 FROM 某表 FORCE INDEX(索引名) WHERE …

  4. 虽然不提倡使用JOIN,但若不得不用时,需要注意使用JOIN时要以小表去驱动大表.
    小表 left join 大表; 大表 right join 小表; 小表 straight_join 大表(功能同join类似，但能让左边的表来驱动右边的表);

3.2 关于explain

在这里插入图片描述

  • id:SQL执行的顺序的标识,Id越大优先级越高,相同Id则从上到下执行
  • select_type:
    • SIMPALE:简单select,不适用union或子查询等
    • PRIMARY: 子查询中最外层查询,查询中若包含子查询,最外层的select被标记为primary.
    • UNION: union中的第二个或后面的select语句.
    • DEPENDENT UNION: union中的第二个或后面的select语句.
    • UNION RESULT: UNION的结果.
    • SUBQUERY: 子查询中的第一个select,结果不依赖于外部查询.
    • DEPENDENT SUBQUERY: 子查询中的第一个select,依赖于外部查询.
    • DERIVED: 派生表的select, FROM子句的子查询
    • UNCACHEABLE SUBQUERY: 一个子查询的结果不能被缓存,必须重新评估外链接的第一行
  • table: 访问的数据库中表的名称,有时不是真实的表的名字,可能是简称
  • type: 对表的访问方式,表示在表中找到所需行的方式,又称’访问类型’.从上到下,性能越来越好
    • ALL：Full Table Scan， MySQL将遍历全表以找到匹配的行.
    • index: Full Index Scan，index与ALL区别为index类型只遍历索引树.
    • range:只检索给定范围的行，使用一个索引来选择行.
    • Index_range:表示使用了索引合并的优化方法.
    • Ref_or_null: 类似ref,可以搜索值为NULL的行.
    • Ref: 表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值.
    • eq_ref: 类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，就是多表连接中使用primary key或者 unique key作为关联条件.
    • const、system: 当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。如将主键置于where列表中，MySQL就能将该查询转换为一个常量,system是const类型的特例，当查询的表只有一行的情况下，使用system.
    • NULL: MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，例如从一个索引列里选取最小值可以通过单独索引查找完成.
  • possible_keys:指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用.
  • key: 显示MySQL实际决定使用的键（索引) .如果没有选择索引，键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引，在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX.
  • key_len: 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的）不损失精确性的情况下，长度越短越好.
  • Ref 表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值.
  • Rows 表示MySQL根据表统计信息及索引选用情况，估算的找到所需的记录所需要读取的行数.
  • Extra :解决查询的详细信息,如果出现下面的Using temporary和Using filesort说明查询效率低
    • Using where:列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的，这发生在对表的全部的请求列都是同一个索引的部分的时候，表示mysql服务器将在存储引擎检索行后再进行过滤.
    • Using temporary：表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询.
    • Using filesort：MySQL中无法利用索引完成的排序操作称为“文件排序”.
    • Using join buffer：改值强调了在获取连接条件时没有使用索引，并且需要连接缓冲区来存储中间结果.如果出现了这个值，那应该注意，根据查询的具体情况可能需要添加索引来改进能.
    • Impossible where：这个值强调了where语句会导致没有符合条件的行.
    • Select tables optimized away：这个值意味着仅通过使用索引，优化器可能仅从聚合函数结果中返回一行
    • No table used: Query语句中使用from dual 或不含任何from子句.

EXPLAIN总结

- EXPLAIN无法获取触发器,存储过程以及用户自定义函数对查询的影响
- EXPLAIN不考虑Cache
- EXPLAIN无法显示数据库在执行查询时做的优化工作
- EXPALIN产生的统计信息是估算的,并非精确
- EXPALIN一般针对SELECT语句,其他操作要重写为select后查看执行计划
学习使得吾快乐
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
MySQL数据库调优
03-06
1、 将表中字段的宽度设得尽可能小。 2、 尽量把字段设置为NOTNULL，即为null字段设置默认值。 3、 对数据量庞大的查询，为搜索字段建立索引。 4、 优化查询语句，只返回需要的字段，避免select * 。
Mysql数据库调优
10-03
MySQL数据库调优是一个涉及到多个方面的过程，旨在提升数据库的性能和响应速度。在这一过程中，需要关注包括慢查询的分析和优化、存储引擎的选择、索引的合理使用、执行计划的理解、Profiling的使用以及索引覆盖等多...
(一)高并发压力测试调优篇——MYSQL数据库的调优
最新发布
厉害哥哥的博客
07-12 1540
在实际项目开发中，很多业务场景下都需要考虑接口的性能要求，追求高并发、高吞吐量。那么对于此类问题如何入手呢？关注作者，不迷路。本节内容主要介绍在数据库db方面的优化，以mysql数据库为例。
mysql数据库调优
chen250727498的博客
07-10 2606
目录一、MySQL基础知识1.1 表结构(create table)1.2 常用的SQL操作二、问题SQL的定位2.1 全面日志查询2.2 慢SQL日志的生成、分析2.2.1 配置文件在my.cnf2.2.2 慢SQL分析2.3 进程列表查询2.4 SQL运行的步骤2.5 执行计划的查看2.5.1 SQL的执行计划2.5.2 explain 命令分解三、SQL并发问题3.1 锁3.2 事务3.3 并发引起的问题3.4 其它锁问题四、MYSQL基本分析命令五、索引5.1 索引的类型及作用5.2 索引的存储类型
MySql数据库使用Sql调优
08-22
MySQL数据库在日常开发中扮演着重要的角色，而SQL语句的优化则是提升数据库性能的关键环节。本文将深入探讨MySQL的基本架构及其对SQL调优的影响，同时介绍两种性能监控方法。 首先，MySQL的基本架构包括连接器、...
MySQL数据库的优化
11-02
MySQL介绍、架构、什么优化、查询优化、索引使用、存储优化、数据库结构优化、硬件优化、MySQL缓存、MySQL服务器参数
MySql优化参数论述
SiC B2B2C Shop大型B2B2C商城软件产品，使用Java语言开发，高性能高扩展性高安全性分布式。可帮助你快速的建立大型B2B2C电商系统
05-04 180
ITEYE官方的MySQL优化论述 ---------------------------------------------------------------------------------------- 我们使用MySQL5.0.XX版本，数据库引擎是InnoDB。关于MySQL数据库的调优，推荐大家看MySQL Performance Blog，作者是一个MySQL性能调优方面...
MYSQL数据库调优教程
World_2015的专栏
04-11 966
前言   最近帮公司优化数据库，凭着之前所学，一步一步地将学习知识用于实践，总算是将速度蹭上去了，一个原本要执行1分多钟的查询现在只需要3秒。 现把自己所学所思及所用加以总结，一方面为自己巩固知识，另一方面也给广大同学以一点点参考。 本套教程共十三讲。 在这系列的教程中，你将会学到 1.     如何一步步地优化数据库 2.    
数据库(MySQL)的调优
java_gchsh的博客
04-16 828
MySQL 调优金字塔理论 如上图所示: 数据库优化维度有四个:硬件、系统配置、数据库表结构、SQL及索引 优化成本:硬件>系统配置>数据库表结构>SQL及索引 优化效果:硬件<系统配置<数据库表结构<SQL及索引 1. SQL及索引的优化 1.1 优化步骤 1) 查看本机MySQL Server 慢查询是否打开 show va...
MySql数据库调优方法
w1515_的博客
06-27 418
linux内核会从内存中分配出缓存区（系统缓存和数据缓存）来存放热数据，通过文件系统延迟写入机制，等满足条件时才会同步到磁盘，所以物理内存越大，分配缓存越大，缓存数据越多。生产环境中，数据库大多都是读操作，所以部署一主多从架构，主数据库负责写操作，从数据库负责读操作，并做负载均衡，使用负载均衡器：LVS，HAProxy，Nginx。MyISAM 不支持事务处理，读比较快，表级别锁（开销小，死锁概率高，并发度低）单表数据量增大，在查询时耗时较长，将单表分为多表，减轻单表压力，提高处理效率。
MySQL 数据库性能调优
爱是与世界平行
07-07 3022
MySQL 数据库性能调优优化的范围有哪些存储、主机和操作系统方面:应用程序方面:数据库优化方面:优化维度数据库优化维度有四个：优化选择：数据库层面数据库层面问题解决思路一般应急调优的思路：常规调优思路：系统层面cpu方面：内存：IO设备（磁盘、网络）：vmstat 命令说明：iostat命令说明基础优化优化思路处理方向：硬件优化主机方面：cpu的选择：内存的选择：存储方面：raid卡：主机rai...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值