【MySQL调优系列】通过索引优化

---

前言

MySQL索引的建立对于MySQL的高效运行是很重要的。对于少量的数据，没有合适的索引影响不是很大，但是，当随着数据量的增加，性能会急剧下降。想要了解索引的优化方式，必须要对索引的底层原理有所了解。

---

一、索引的基本知识

1. 索引的优点

1、 大大减少了服务器扫描的数据量；
2、 帮助服务器避免排序和临时表；
3、 将随机io变成顺序io。

2. 索引的用处

1、 快速查找匹配where子句的行；
2、 consideration中消除行,如果可以在多个索引之间进行选择，mysql通常会使用找到最少行的索引；
3、 如果表具有多列索引，则优化器可以使用索引的任何最左前缀来查找行；
4、 当有表连接的时候，从其它表检索行数据；
5、 查找特定索引列的min和max值；
6、 如果在排序或分组时在可用索引的最左前缀上完成的，则对表进行排序和分组；
7、 在某些情况下，可以优化以检索值而无需查询数据行。

3. 索引的分类

• 主键索引；
• 唯一索引；
• 普通索引；
• 全文索引；
• 组合索引。

4. 索引采用的数据结构

• 哈希表
• B+书

5. 索引的匹配方式

create table staffs(

    id int primary key auto_increment,

    name varchar(24) not null default '' comment '姓名',

    age int not null default 0 comment '年龄',

    pos varchar(20) not null default '' comment '职位',

    add_time timestamp not null default current_timestamp comment '入职时间'

  ) charset utf8 comment '员工记录表';

-----------
alter table staffs add index idx_nap(name, age, pos);

1、 全值匹配
是同索引中的有列进行匹配。

explain select * from staffs where name = 'xiaoming' and age = 25 and pos = 'hr';

2、 匹配最左前缀
只匹配前面的几列。

explain select * from staffs where name = 'xiaoming' and age = 25;
explain select * from staffs where name = 'xiaoming';

3、 匹配列前缀
可以匹配某一列的值的开头部分。

explain select * from staffs where name like 'xiao%';
explain select * from staffs where name like '%ming';

4、 匹配范围值
可以查找某一个范围值。

explain select * from staffs where age > 20;

5、 精确匹配某一列并范围匹配另外一列
可以查询第一列的全部和第二列的部分。

explain select * from staffs where name = 'xiaoming' and age > 20;

6、 只访问索引的查询
查询的时候只需要访问索引，不需要访问数据行，本质上就是覆盖索引。

explain select name,age,pos from staffs where name = 'xiaoming' and age = 25 and pos = 'hr';

二、常用索引

1. 哈希索引

哈希索引的特点：

• 基于哈希表的实现，只有精确匹配索引所有列的查询才有效；
• 在mysql中，只有memory的存储引擎显式支持哈希索引；
• 哈希索引自身只需存储对应的hash值，所以索引的结构十分紧凑，这让哈希索引查找的速度非常快。

哈希索引的限制：

• 哈希索引只包含哈希值和行指针，而不存储字段值，索引不能使用索引中的值来避免读取行；
• 哈希索引数据并不是按照索引值顺序存储的，所以无法进行排序；
• 哈希索引不支持部分列匹配查找，哈希索引是使用索引列的全部内容来计算哈希值；
• 哈希索引支持等值比较查询，也不支持任何范围查询；
• 访问哈希索引的数据非常快，除非有很多哈希冲突，当出现哈希冲突的时候，存储引擎必须遍历链表中的所有行指针，逐行进行比较，直到找到所有符合条件的行；
• 哈希冲突比较多的话，维护的代价也会很高。

应用场景：

当需要存储大量的URL，并且根据URL进行搜索查找，如果使用B+树，存储的内容就会很大。

select id from url where url=""

也可以利用将url使用CRC32做哈希，可以使用以下查询方式：

select id fom url where url="" and url_crc=CRC32("")

此查询性能较高原因是使用体积很小的索引来完成查找。

2. 组合索引

当包含多个列作为索引，需要注意的是正确的顺序依赖于该索引的查询，同时需要考虑如何更好的满足排序和分组的需要。

语句	索引是否发挥作用
where a=1	是，只使用了a
where a=1 and b=2	是，使用了a、b
where a=1 and b=2 and c=3	是，使用了a、b 、c
where b=1 or where c=2	否
where a=1 and c=3	是，只使用了a
where a=1 and b>5 and c=3	是，只使用了a、b
where a=1 and b like ‘%xx%’ and c=3	只使用了a

3. 聚簇索引与非聚簇索引

聚簇索引

不是单独的索引类型，而是一种数据存储方式，指的是数据行跟相邻的键值紧凑的存储在一起。

优点：
1、可以把相关数据保存在一起；
2、数据访问更快，因为索引和数据保存在同一个树中；
3、使用覆盖索引扫描的查询可以直接使用页节点中的主键值。

缺点：
1、聚簇数据最大限度地提高了IO密集型应用的性能，如果数据全部在内存，那么聚簇索引就没有什么优势；
2、插入速度严重依赖于插入顺序，按照主键的顺序插入是最快的方式；
3、更新聚簇索引列的代价很高，因为会强制将每个被更新的行移动到新的位置；
4、基于聚簇索引的表在插入新行，或者主键被更新导致需要移动行的时候，可能面临页分裂的问题；
5、聚簇索引可能导致全表扫描变慢，尤其是行比较稀疏，或者由于页分裂导致数据存储不连续的时候。

非聚簇索引

数据文件跟索引文件分开存放。

4. 覆盖索引

基本介绍

1、如果一个索引包含所有需要查询的字段的值，我们称之为覆盖索引；
2、不是所有类型的索引都可以称为覆盖索引，覆盖索引必须要存储索引列的值；
3、不同的存储实现覆盖索引的方式不同，不是所有的引擎都支持覆盖索引，memory不支持覆盖索引。

优势
1、索引条目通常远小于数据行大小，如果只需要读取索引，那么mysql就会极大的减少数据访问量；
2、因为索引是按照列值顺序存储的，所以对于IO密集型的范围查询会比随机从磁盘读取每一行数据的IO要少的多；
3、一些存储引擎如MYISAM在内存中只缓存索引，数据则依赖于操作系统来缓存，因此要访问数据需要一次系统调用，这可能会导致严重的性能问题；
4、由于INNODB的聚簇索引，覆盖索引对INNODB表特别有用。

应用场景

• 当发起一个被索引覆盖的查询时，在explain的extra列可以看到using index的信息，此时就使用了覆盖索引。

mysql> explain select store_id,film_id from inventory
           id: 1
  select_type: SIMPLE
        table: inventory
   partitions: NULL
         type: index
possible_keys: NULL
          key: idx_store_id_film_id
      key_len: 3
          ref: NULL
         rows: 4581
     filtered: 100.00
        Extra: Using index
1 row in set, 1 warning (0.01 sec)

• 在大多数存储引擎中，覆盖索引只能覆盖那些只访问索引中部分列的查询。不过，可以进一步的进行优化，可以使用innodb的二级索引来覆盖查询。

例如：actor使用innodb存储引擎，并在last_name字段又二级索引，虽然该索引的列不包括主键actor_id，但也能够用于对actor_id做覆盖查询

mysql> explain select actor_id,last_name from actor where last_name='HOPPER'
           id: 1
  select_type: SIMPLE
        table: actor
   partitions: NULL
         type: ref
possible_keys: idx_actor_last_name
          key: idx_actor_last_name
      key_len: 137
          ref: const
         rows: 2
     filtered: 100.00
        Extra: Using index
1 row in set, 1 warning (0.00 sec)

---

总结

一、优化细节

1、当使用索引列进行查询的时候尽量不要使用表达式，把计算放到业务层而不是数据库层。

select age from actor where age =4;
select age from actor where age +1=5;

2、尽量使用主键查询，而不是其他索引，因为主键查询不会触发回表查询。

3、使用前缀索引。

有时候需要索引很长的字符串，这会让索引变的大且慢，通常情况下可以使用某个列开始的部分字符串，这样大大的节约索引空间，从而提高索引效率，但这会降低索引的选择性。索引的选择性越高则查询效率越高，因为选择性更高的索引可以让mysql在查找的时候过滤掉更多的行。
一般情况下某个列前缀的选择性也是足够高的，足以满足查询的性能，但是对应BLOB,TEXT,VARCHAR类型的列，必须要使用前缀索引，因为mysql不允许索引这些列的完整长度，使用该方法的诀窍在于要选择足够长的前缀以保证较高的选择性，通过又不能太长。
注意：前缀索引是一种能使索引更小更快的有效方法，但是也包含缺点：mysql无法使用前缀索引做order by 和 group by。

4、使用索引扫描来排序。

mysql有两种方式可以生成有序的结果：通过排序操作或者按索引顺序扫描，如果explain出来的type列的值为index,则说明mysql使用了索引扫描来做排序。
扫描索引本身是很快的，因为只需要从一条索引记录移动到紧接着的下一条记录。但如果索引不能覆盖查询所需的全部列，那么就不得不每扫描一条索引记录就得回表查询一次对应的行，这基本都是随机IO，因此按索引顺序读取数据的速度通常要比顺序地全表扫描慢。
mysql可以使用同一个索引即满足排序，又用于查找行，如果可能的话，设计索引时应该尽可能地同时满足这两种任务。
只有当索引的列顺序和order by子句的顺序完全一致，并且所有列的排序方式都一样时，mysql才能够使用索引来对结果进行排序，如果查询需要关联多张表，则只有当orderby子句引用的字段全部为第一张表时，才能使用索引做排序。order by子句和查找型查询的限制是一样的，需要满足索引的最左前缀的要求，否则，mysql都需要执行顺序操作，而无法利用索引排序。

--sakila数据库中rental表在rental_date,inventory_id,customer_id上有rental_date的索引
--使用rental_date索引为下面的查询做排序
explain select rental_id,staff_id from rental where rental_date='2005-05-25' order by inventory_id,customer_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ref
possible_keys: rental_date
          key: rental_date
      key_len: 5
          ref: const
         rows: 1
     filtered: 100.00
        Extra: Using index condition
1 row in set, 1 warning (0.00 sec)
--order by子句不满足索引的最左前缀的要求，也可以用于查询排序，这是因为所以你的第一列被指定为一个常数

--该查询为索引的第一列提供了常量条件，而使用第二列进行排序，将两个列组合在一起，就形成了索引的最左前缀
explain select rental_id,staff_id from rental where rental_date='2005-05-25' order by inventory_id desc\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ref
possible_keys: rental_date
          key: rental_date
      key_len: 5
          ref: const
         rows: 1
     filtered: 100.00
        Extra: Using where
1 row in set, 1 warning (0.00 sec)

--下面的查询不会利用索引
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by rental_date,inventory_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort

--该查询使用了两中不同的排序方向，但是索引列都是正序排序的
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by inventory_id desc,customer_id asc\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort
1 row in set, 1 warning (0.00 sec)

--该查询中引用了一个不再索引中的列
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by inventory_id,staff_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort
1 row in set, 1 warning (0.00 sec)

5、union all,in,or都能够使用索引，但推荐使用in

explain select * from actor where actor_id = 1 union all select * from actor where actor_id = 2;
explain select * from actor where actor_id in (1,2);
 explain select * from actor where actor_id = 1 or actor_id =2;

6、范围列可以用到索引

范围条件是：<、>
范围列可以用到索引，但是范围列后面的列无法用到索引，索引最多用于一个范围列

7、强制类型转换会全表扫描

explain select * from user where phone=13800001234; 不会触发索引
explain select * from user where phone='13800001234'; 触发索引

8、更新十分频繁，数据区分度不高的字段上不宜建立索引

更新会变更B+树，更新频繁的字段建议索引会大大降低数据库性能；
类似于性别这类区分不大的属性，建立索引是没有意义的，不能有效的过滤数据；
一般区分度在80%以上的时候就可以建立索引，区分度可以使用 count(distinct(列名))/count(*) 来计算。

9、创建索引的列，不允许为null，可能会得到不符合预期的结果

10、当需要进行表连接的时候，最好不要超过三张表，因为需要join的字段，数据类型必须一致

11、能使用limit的时候尽量使用limit

12、单表索引建议控制在5个以内

13、单索引字段数不允许超过5个（组合索引）

14、创建索引的时候应该避免以下错误概念

索引越多越好；
过早优化，在不了解系统的情况下进行优化。

二、索引监控

执行语句

show status like 'Handler_read%';

参数分析

参数名	参数说明
Handler_read_first	读取索引第一个条目的次数
Handler_read_key	通过index获取数据的次数
Handler_read_last	读取索引最后一个条目的次数
Handler_read_next	通过索引读取下一条数据的次数
Handler_read_prev	通过索引读取上一条数据的次数
Handler_read_rnd	从固定位置读取数据的次数
Handler_read_rnd_next	从数据节点读取下一条数据的次数

---

如果文章对你有帮助，欢迎关注、点赞、收藏(一键三连)和订阅专栏！！