MySQL数据库高级、数据库优化篇No.1

1. MySQL逻辑架构简介

  设计原理：插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。我们可以根据不同的业务需求选择合适的存储引擎。
1.连接层
  最上层是一些客户端和连接服务，包含本地sock通信和大多数基于客户端/服务端工具实现的类似于TCP/IP的通信。主要完成一些类似于连接处理、授权认证以及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层可以实现基于SSL的安全连接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
2.服务层
  第二层架构主要完成大多少的核心服务功能，比如SQL接口，并完成缓存的查询，SQL的分析和优化及部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，比如过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化（比如确定查询表的顺序，是否利用索引等），最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中可以很好的提升系统的性能。
3.引擎层
  存储引擎层真正的负责了MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需求来选取。目前使用较多的两个存储引擎是MyISAM和InnoDB。
4.存储层
  数据存储层，主要是将数据存储在运行于设备的文件系统之上，开发完成与存储引擎的交互。

2. 存储引擎简介

对比项	MyISAM	InnoDB
主外键	不支持	支持
事务	不支持	支持
行表锁	表锁，即使操作一条记录也会锁住整个表，不适合高并发的操作	行锁，操作时只锁某一行，不对表中的其它行有影响，适合高并发的操作
缓存	只缓存索引，不缓存真实数据	不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响
表空间	小	大
关注点	性能	事务
默认安装	Yes	Yes

3. SQL性能下降原因

性能下降SQL慢/执行时间长/等待时间长

• 查询语句写的烂
• 索引失效
• 关联查询太多（写了太多join）
• 服务器调优及各个参数设置（缓冲、线程数等）

4. SQL执行加载顺序

  我们根据上面两个数据表t_emp和t_dept实现join的七中方式如下代码所示：

#内连接，两表共有的部分
select * from t_emp
inner join t_dept
on t_emp.deptId = t_dept.id;

#左外连接 左表所有部分
select * from t_emp
LEFT JOIN t_dept
on t_emp.deptId = t_dept.id;

#右外连接 右表所有部分
select * from t_emp
RIGHT JOIN t_dept
on t_emp.deptId = t_dept.id;

#左表独有部分
select * from t_emp
LEFT JOIN t_dept
on t_emp.deptId = t_dept.id
where t_dept.id is NULL;

#右表独有部分
select * from t_emp
RIGHT JOIN t_dept
on t_emp.deptId = t_dept.id
where t_emp.deptId is NULL;

#全连接
select * from  t_emp
LEFT JOIN t_dept
on t_emp.deptId = t_dept.id
UNION
select * from t_emp
RIGHT JOIN t_dept
on t_emp.deptId = t_dept.id
where t_emp.deptId is NULL;

#去掉共有的部分
select * from t_emp
LEFT JOIN t_dept
on t_emp.deptId = t_dept.id
where t_dept.id is NULL
UNION
select * from t_emp
RIGHT JOIN t_dept
on t_emp.deptId = t_dept.id
where t_emp.deptId is NULL;

5. 索引

5.1 什么是索引

  MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的一种数据结构。简言之，索引是一种数据结构。索引的目的在于提高查询效率，可以类比字典。
  我们可以简单理解为排好序的快速查找数据结构。
  在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。
  一般来说，索引本身很大，不可能全部存储在内存中，因此索引往往以索引文件的形式村存储在磁盘上。
我们平常所说的索引，如果没有特别指明，都是指B树（多路搜索树，并不一定是二叉的）结构组织的索引。其中聚集索引、次要索引、复合索引、前缀索引、唯一索引默认都是使用B+树索引，统称为索引。当然，除了B+树这种类型的索引之外，还有哈希索引等。

5.2 索引的优势劣势

优势：

• 类似现实中的图书馆书目索引，可以提高数据检索的效率，降低数据库的IO成本；
• 通过索引列对数据进行排序，降低数据排序的成本，降低了CPU的消耗。

劣势：

• 实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占据磁盘空间的。

• 虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE操作。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息。

• 索引只是提高效率的一个因素，如果你的MySQL有大量数据量的表，就需要花时间研究建立最优秀最合适的索引。

5.3 索引分类

单值索引： 即一个索引只包含单个列，一个表可以有多个单列索引。
唯一索引： 索引列的值必须唯一，但允许有空值。
复合索引： 即一个索引包含多个列。

四种创建索引的方式：

# 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL
ALTER TABLE tal_name PRIMARY KEY(column_list);
# 创建索引的值必须是唯一的（除了NULL值外）
ALTER TABLE tal_name ADD UNIQUE index_name(column_list);
# 添加普通索引，索引值可能多次出现
ALTER TABLE tal_name ADD INDEX index_name(column_list);
# 指定索引为FULLTEXT，用于全文索引
ALTER TABLE tal_name ADD FULLTEXT index_name(column_list);

5.4 何时建立索引

5.4.1 哪些情况需要创建索引

1. 主键自动建立唯一索引
2. 频繁作为查询条件的字段应该创建索引
3. 查询中与其它表关联的字段，外键关系建立索引
4. 查询中若有排序的字段，排序字段若通过索引去访问将大大提高排序速度
5. 查询中有统计或者分组字段

5.4.2 哪些情况不要创建索引

1. 表记录太少
2. 经常增删改的表：索引虽然提高了查询速度，但是会降低更新表的速速，如对表进行INSERT、UPDATE以及DELETE操作。因为更新表时，MySQL不仅要保存数据，还要保存索引文件。
3. 数据重复且分布平均的表字段，因此应该只为最经常查询和最经常排序的数据列建立索引。注意：如果某个数据列包含许多重复的内容，为它建立索引就没有太大的实际效果。

6. MySQL性能分析

  MySQL中有专门负责优化SELECT语句的优化器模块，主要功能：通过计算分析系统中收集到的统计信息，为客户端请求的Query提供它认为最优的执行计划。
  当客户端向MySQL请求一条Query，命令解析器模块完成请求分类，区别出是SELECT并转发给MySQL Query Optimizer时，MySQL Query Optimizer首先会对整条Query进行优化，处理掉一些常量表达式的预算，直接换算成常量值。
MySQL常见的瓶颈：

1. CPU：CPU饱和的时候一般发生在数据装入内存或从磁盘上读取数据的时候；
2. IO：磁盘I/O瓶颈发生在装入数据远大于内存容量的时候；
3. 服务器硬件本身的性能瓶颈。

7. explain

explain能干嘛：

• 表的读取顺序
• 数据读取操作的基本类型
• 哪些索引可以使用
• 哪些索引被实际使用
• 表之间的引用
• 每张表有多少行被优化器查询

怎么使用： Explain + SQL语句

explain包含的字段信息：
1. id: select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序。

• id相同的情况：执行顺序由上至下；
• id不同的情况：如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行；
• id相同、不同的情况同时存在：id如果相同，可以认为是一组，按照从上往下的顺序执行，在每个组中，id值越大，优先级越高，越先被执行。

---

2. select_type： 主要用于区别不同的查询类型，比如普通查询、联合查询、子查询等。

其中包含的类型代码有：

• SIMPLE：简单的select查询，查询中不包含子查询或者UNION。
• PRIMARY：查询中若包含任何复杂的子部分，最外层查询被标记为PRIMARY。
• SUBQUERY：在select或where列表中包含了子查询。
• DERIVED：在from列表中包含的子查询被标记为DERIVED（衍生），MySQL会递归执行这些子查询，把结果放在临时表里。
• UNION：若第二个select语句出现在UNION关键字之后，则被标记为UNION类型；若UNION包含在from子句的子查询中，外层select将被标记为DERIVED。
• UNION_RESULT：UNION联合查询获取结果的select。

---

3.table： 显示这一行的数据是从哪张表里来的

---

4.type： 访问类型排列，显示了查询使用了何种类型，从最好到最差依次是：system>const>eq_ref>ref>range>index>ALL
一般来说，得保证查询至少达到range级别，最好能达到ref。

• system：表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，这个可以忽略不计。
• const：表示通过一次索引就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快。如果将主键置于where列表中，MySQL就能将该查询转换为一个常量。
• eq_ref：唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描。
• ref：非唯一性索引扫描，返回匹配某个单独值的所有行，然而，它可能会找到多个符合条件的行，所以它应该属于查找和扫描的混合体。
• range：只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引。一般就是在你的where语句中出现了between、<、>、in等的查询。
• index：index与all的区别为index类型只遍历索引树。这通常比all快，因为索引文件通常比数据文件小。也就是说：index和all都是读全表，但index是从索引表中读取的，all是从硬盘中读取的。
• all：遍历全表找到的行。

---

5.possible_keys： 显示可能应用在当前表中的索引，可能有一个或多个。若查询涉及到的字段存在索引，则该索引将被列出，但不一定会被当前查询语句使用到。
6.key： 实际使用的索引，如果为NULL，则没有使用索引。查询中若使用了覆盖索引，则该索引仅出现在key列表中。

---

7.key_len： 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好。key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算得到的，而不是通过表内检索出的。

---

8.ref： 显示索引的哪一列被使用了。

---

9.rows： 根据表统计信息及索引选用情况，大致估算出找到所需记录需要读取的行数。

---

10.Extra： 包含不适合在其它列中显示但十分重要的额外信息。

• Using filesort：说明MySQL会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件内排序”。
• Using temporary：使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。
• Using index：
  表示相应的select操作中使用了覆盖索引（Covering Index），避免访问了表的数据行，效率不错；
  如果同时出现Using where，表明索引被用来执行索引键值的查找；
  如果没有同时出现Using where，表明索引用来读取数据而非执行查找动作。
  覆盖索引：select操作的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select列表中的字段，而不必根据索引再次读取数据文件，换句话说查询列要被所建的索引覆盖。
• Using where：使用了where 过滤
• Using join buffer：使用了连接缓存
• impossible where：where子句的值总是false，不能用来获取任何元组
• select tables optimized away：
  在没有group by子句的情况下，基于索引优化MIN/MAX操作；
  对于MyISAM存储引擎优化count(*)操作，不必等到执行阶段再进行计算查询执行计划生成的阶段即完成优化。
• distinct：优化distinct操作，在找到第一匹配的元组后立即停止找同样值的动作