目录索引
【Mysql分享】之索引篇
【Mysql分享】之锁篇
【Mysql分享】之事务分析篇
mysql知识图谱
mysql架构
逻辑架构图
(1)MySQL向外提供的交互接口(Connectors)
(2)管理服务组件和工具组件(Management Service & Utilities)
(3)连接池组件(Connection Pool)
(4)SQL接口组件(SQL Interface)
(5)查询分析器组件(Parser)
(6)优化器组件(Optimizer)
(7)缓存主件(Caches & Buffers)mysql8.0不再使用
(8)插件式存储引擎(Pluggable Storage Engines)
(9)物理文件(File System)
mysql索引
索引是什么
官方介绍索引是帮助MySQL高效获取数据的数据结构。更通俗的说,数据库索引好比是一本书前面的目录,能加快数据库的查询速度。
索引的优势和劣势
优势:
可以提高数据检索的效率,降低数据库的IO成本,类似于书的目录。 – 检索 通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗。
劣势:
索引会占据磁盘空间 索引虽然会提高查询效率,但是会降低更新表的效率。比如每次对表进行增删改操作, MySQL不仅要保存数据,还有保存或者更新对应的索引文件。
索引原理分析
索引存储结构
索引是在存储引擎中实现的,也就是说不同的存储引擎,会使用不同的索引
MyISAM和InnoDB存储引擎:只支持B+ TREE索引, 也就是说默认使用BTREE,不能够更换
MEMORY/HEAP存储引擎:支持HASH和BTREE索引
B树和B+树
数据结构示例网站:
https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
查看执行计划
explain出来的信息有10列,分别是
id、select_type、table、type、possible_keys、key、key_len、ref、rows、Extra
案例表
CREATE TABLE t_user (
id INT PRIMARY KEY NOT NULL AUTO_INCREMENT,
name VARCHAR ( 100 ),
email VARCHAR ( 100 ),
age INT,
sex CHAR ( 1 ),
dep_id INT,
address varchar(100)
);
创建普通索引
alter table t_user add index idx_dep_id(dep_id);
创建唯一索引
alter table t_user add unique index uk_name(name);
创建组合索引
alter table t_user add index idx_email_age_sex(email,age,sex);
创建全文索引
alter table t_user add fulltext ft_address(address);
CREATE TABLE t_dep (
id INT PRIMARY KEY NOT NULL AUTO_INCREMENT,
name VARCHAR ( 100 )
);
#创建普通索引
alter table t_dep add index idx_name(name);
select_type(重要)
查询类型,主要用于区别普通查询、联合查询(union、union all)、子查询等复杂查询
-
simple: 表示不需要union操作或者不包含子查询的简单select查询。有连接查询时,外层的查询为simple,且只有一个
EXPLAIN SELECT * FROM t_user;
-
primary: 一个需要union操作或者含有子查询的select,位于最外层的单位查询的select_type即为primary。且只有一个
EXPLAIN SELECT (SELECT name FROM t_user) FROM t_user;
-
subquery: 除了from字句中包含的子查询外,其他地方出现的子查询都可能是subquery
EXPLAIN SELECT * FROM t_user WHERE id = (SELECT MAX(id) FROM t_user);
-
union: union连接的两个select查询,第一个查询是PRIMARY,除了第一个表外,第二个以后的表select_type 都是union
EXPLAIN SELECT * FROM t_user WHERE sex='1' UNION SELECT * FROM t_user WHERE sex='2';
-
union result: 包含union的结果集,在union和union all语句中,因为它不需要参与查询,所以id字段为null
-
dependent union: 与union一样,出现在union 或union all语句中,但是这个查询要受到外部查询的影响
EXPLAIN SELECT * FROM t_user WHERE sex IN (SELECT sex FROM t_user WHERE sex='1' UNION SELECT sex FROM t_user WHERE sex='2');
-
dependent subquery: 与dependent union类似,表示这个subquery的查询要受到外部表查询的影响
EXPLAIN SELECT id,name,(SELECT name FROM t_dep a WHERE a.id=b.dep_id) FROM t_user b;
table
-
显示的查询表名,如果查询使用了别名,那么这里显示的是别名
-
如果不涉及对数据表的操作,那么这显示为null
-
如果显示为尖括号括起来的就表示这个是临时表,后边的N就是执行计划中的id,表示结果来自于这个查询产生。
-
如果是尖括号括起来的**<union M,N>**,与类似,也是一个临时表,表示这个结果来自于union查 询的id为M,N的结果集。
type(重要)
-
依次从好到差(最少要索引使用到range级别):
system,const,eq_ref,ref,fulltext,ref_or_null,unique_subquery, index_subquery,range,index_merge,index,ALL
除了all之外,其他的type都可以使用到索引,除了index_merge之外,其他的type只可以用到一个索引优化器会选用最优索引一个
system const的特例,只有一条数据的系统表或衍生表只能有一条数据的主查询。
const(重要) 使用唯一索引或者主键,返回记录一定是1行记录的等值where条件时,通常type是const。也叫做唯一索引扫描
EXPLAIN SELECT * FROM t_user WHERE id = 1;
--name为唯一索引
EXPLAIN SELECT * FROM t_user WHERE name = '1';
eq_ref(重要) 连接字段主键或者唯一性索引.此类型通常出现在多表的 join 查询, 表示对于前表的每一个结果, 都只能匹配到后表的一行结果. 并且查询的比较操作通常是 ‘=’, 查询效率较高.
EXPLAIN SELECT a.id FROM t_user a LEFT JOIN t_dep b ON a.dep_id=b.id;
ref(重要) 针对非唯一性索引,使用等值(=)查询非主键。或者是使用了最左前缀规则索引的查询.
--非唯一索引
EXPLAIN SELECT * FROM t_user WHERE dep_id = 1;
--等值非主键连接
EXPLAIN SELECT a.id FROM t_user a LEFT JOIN t_dep b ON a.name = b.name;
--最左前缀
EXPLAIN SELECT * FROM t_user WHERE email = 'email1';
fulltext 全文索引检索,要注意,全文索引的优先级很高,若全文索引和普通索引同时存在时,mysql不管代价,优先选择使用全文索引
EXPLAIN SELECT * FROM t_user WHERE dep_id = 1 AND MATCH(address) AGAINST('address1');
range(重要) 索引范围扫描,常见于使用>,<,is null,between ,in ,like等运算符的查询中。
EXPLAIN SELECT * FROM t_user WHERE id > 1;
--like 前缀 注: like '%email' 不使用索引
EXPLAIN SELECT * FROM t_user WHERE email LIKE 'email20%';
index(重要) 条件是出现在索引树中的节点的。可能没有完全匹配索引。索引全表扫描,把索引从头到尾扫一遍,常见于使用索引列就可以处理不需要读取数据文件的查询、可 以使用索引排序或者分组的查询。
--单索引
EXPLAIN SELECT name FROM t_user;
--组合索引
EXPLAIN SELECT age FROM t_user;
ref_or_null 与ref方法类似,只是增加了null值的比较。实际用的不多。
unique_subquery 用于where中的in形式子查询,子查询返回不重复值唯一值
index_subquery 用于in形式子查询使用到了辅助索引或者in常数列表,子查询可能返回重复值,可以使用索引将子查询 去重。
index_merge 表示查询使用了两个以上的索引,最后取交集或者并集,常见and ,or的条件使用了不同的索引,官方排序这个在ref_or_null之后,但是实际上由于要读取所个索引,性能可能大部分时间都不如range
all(重要) 全表扫描数据文件,然后再在server层进行过滤返回符合要求的记录。
EXPLAIN SELECT * FROM t_user;
possible_keys 此次查询中可能选用的索引,一个或多个
key 查询真正使用到的索引,select_type为index_merge时,这里可能出现两个以上的索引,其他的 select_type这里只会出现一个。
key_len 用于处理查询的索引长度
- 如果是单列索引,那就整个索引长度算进去。
- 如果是多列索引,那么查询不一定都能使用到所有的列,具体使用到了多少个列的索引,这里就会计算进去,没有使用到的 列,这里不会计算进去。 留意下这个列的值,算一下你的多列索引总长度就知道有没有使用到所有的列了。
ref
- 如果是使用的常数等值查询,这里会显示const
- 如果是连接查询,被驱动表的执行计划这里会显示驱动表的关联字段
- 如果是条件使用了表达式或者函数,或者条件列发生了内部隐式转换,这里可能显示为func
rows 这里是执行计划中估算的扫描行数,不是精确值(InnoDB不是精确的值,MyISAM是精确的值,主要原因是InnoDB里面使用了MVCC并发机制)
extra(重要) 这个列包含不适合在其他列中显示单十分重要的额外的信息,这个列可以显示的信息非常多,有几十种,常用的有
-
no tables used 不带from字句的查询或者From dual查询, 使用not in()形式子查询或not exists运算符的连接查询,这种叫做反连接,即一般连接查询是先查询内表,再查询外表,反连接就是先查询外表,再查询内表。
-
using filesort(重要) 排序时无法使用到索引时,就会出现这个。常见于order by和group by语句中,说明MySQL会使用一个外部的索引排序,而不是按照索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序”
EXPLAIN SELECT * FROM t_user ORDER BY name;
-
using index(重要) 查询时不需要回表查询,直接通过索引就可以获取查询的数据。表示相应的SELECT查询中使用到了覆盖索引(Covering Index),避免访问表的数据行,效率不错,如果同时出现Using Where ,说明索引被用来执行查找索引键值,如果没有同时出现Using Where ,表明索引用来读取数据而非执行查找动作。
EXPLAIN SELECT email,age,sex FROM t_user;
-
using temporary 表示使用了临时表存储中间结果。MySQL在对查询结果order by和group by时使用临时表,时表可以是内存临时表和磁盘临时表,执行计划中看不出来,需要查看status变量, used_tmp_table,used_tmp_disk_table才能看出来。
-
distinct 在select部分使用了distinct关键字 (索引字段)
EXPLAIN SELECT DISTINCT t_dep.id FROM t_user,t_dep WHERE t_user.dep_id = t_dep.id;
-
using where(重要) 表示存储引擎返回的记录并不是所有的都满足查询条件,需要在server层进行过滤。查询条件中分为限制条件和检查条件,5.6之前,存储引擎只能根据限制条件扫描数据并返回,然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP(索引下推)特性,可以把检 查条件也下推到存储引擎层,不符合检查条件和限制条件的数据,直接不读取,这样就大大减少了 存储引擎扫描的记录数量。extra列显示using index condition
--ICP(索引下推) EXPLAIN SELECT * FROM t_user WHERE email='email1' AND age > 20;
Mysql5.6之前的版本
Mysql5.6之后的版本
索引失效分析
- 全值匹配我最爱
- 最左前缀法则 带头索引不能死,中间索引不能断
- 不要在索引上做计算
- 范围条件右边的列失效
- 尽量使用覆盖索引
- 索引字段上不要使用不等
- 主键索引字段上不可以判断null
- 索引字段使用like不以通配符开头
- 索引字段字符串要加单引号
- 索引字段不要使用or