Mysql篇总结01

 1.mysql体系结构概览

连接层：主要完成一些类似连接处理、授权认证，及相关的安全方案。

服务层：主要完成大多数核心服务功能，如sql接口，并完成缓存的查询，sql的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。在该层，服务器会解析查询并创建相应的内部 解析树，并对其完成相应的优化如确定表的查询的顺序，是否利用索引等，最后生成相应的执行操作。如果是 select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。

引擎层 :存储引擎层， 存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。

存储层 :数据存储层， 主要是将数据存储在文件系统之上，并完成与存储引擎的交互。

和其他数据库相比， MySQL 有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储

引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务

的需求和实际需要选择合适的存储引擎。

2.存储引擎

和大多数的数据库不同, MySQL中有一个存储引擎的概念, 针对不同的存储需求可以选择最优的存储引擎。 存储引擎就是存储数据，建立索引，更新查询数据等等技术的实现方式 。存储引擎是基于表的，而不是基于库的。 所以存储引擎也可被称为表类型。

 

Oracle ， SqlServer 等数据库只有一种存储引擎。 MySQL提供了插件式的存储引擎架构。所以MySQL存在多种存储 引擎，可以根据需要使用相应引擎，或者编写存储引擎。

MySQL5.0 支持的存储引擎包含 ： InnoDB 、 MyISAM 、 BDB 、 MEMORY 、 MERGE 、 EXAMPLE 、 NDB Cluster 、ARCHIVE 、 CSV 、 BLACKHOLE 、 FEDERATED 等，其中 InnoDB 和 BDB 提供事务安全表，其他存储引擎是非事务安 全表。

查看当前数据库支持的存储引擎：show engines

2.1 InnoDB存储引擎

innoDB存储引擎是mysql默认的存储引擎，支持事务、外键、行锁。

2.2 MyISAM存储引擎

MyISAM 不支持事务、也不支持外键，其优势是访问的速度快，对事务的完整性没有要求或者以 SELECT 、 INSERT为主的应用基本上都可以使用这个引擎来创建表

2.3 MeMory存储引擎

Memory 存储引擎将表的数据存放在内存中。每个 MEMORY 表实际对应一个磁盘文件，格式是 .frm ，该文件中只存储表的结构，而其数据文件，都是存储在内存中，这样有利于数据的快速处理，提高整个表的效率。 MEMORY 类型的表访问非常地快，因为他的数据是存放在内存中的，并且默认使用 HASH 索引 ， 但是服务一旦关闭，表中的 数据就会丢失。

3. 存储引擎的选择

1. InnoDB : 是Mysql的默认存储引擎，用于事务处理应用程序，支持外键。如果应用对事务的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询意外，还包含很多的更新、删除操作，那么InnoDB存储引擎是比较合适的选择。InnoDB存储引擎除了有效的降低由于删除和更新导致的锁定， 还 可以确保事务的完整提交和回滚，对于类似于计费系统或者财务系统等对数据准确性要求比较高的系统，InnoDB是最合适的选择。
2. MyISAM ： 如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不是很高，那么选择这个存储引擎是非常合适的。
3. MEMORY：将所有数据保存在RAM中，在需要快速定位记录和其他类似数据环境下，可以提供几块的访问。MEMORY的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，其次是要确保表的数据可以恢复，数据库异常终止后表中的数据是可以恢复的。MEMORY表通常用于更新不太频繁的小表，用以快速得到访问结果。
4. MERGE：用于将一系列等同的MyISAM表以逻辑方式组合在一起，并作为一个对象引用他们。MERGE表的优点在于可以突破对单个MyISAM表的大小限制，并且通过将不同的表分布在多个磁盘上，可以有效的改善MERGE表的访问效率。这对于存储诸如数据仓储等VLDB环境十分合适。

4. SQL优化步骤

4.1 explain(desc)

获取 MySQL 如何执行 SELECT 语句的信息，包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

 

补充：

id：

1. id 相同表示加载表的顺序是从上到下。
2. id 不同id值越大，优先级越高，越先被执行。
3. id 有相同，也有不同，同时存在。id相同的可以认为是一组，从上往下顺序执行；在所有的组中，id的值越 大，优先级越高，越先执行。 

select_type:

extra:

4.2 profile

show profifiles 能够在做 SQL 优化时帮助我们了解时间都耗费到哪里去了。

 

select @@have_profiling；查看是否支持profile

select @@profiling;

set profiling=1 ；      开启profiling

show profile;来查看 SQL 语句执行的耗时

show profifile for query query_id 语句可以查看到该 SQL 执行过程中每个线程的状态和消耗的时间

 

4.3 trace优化器

MySQL5.6 提供了对 SQL 的跟踪 trace, 通过 trace 文件能够进一步了解为什么优化器选择 A 计划 , 而不是选择 B 计划。 打开 trace ， 设置格式为 JSON ，并设置 trace 最大能够使用的内存大小，避免解析过程中因为默认内存过小而不能 够完整展示。

set optimizer_trace="enabled=on",end_markers_in_json=on;
set optimizer_trace_max_mem_size=1000000;

 

5.索引的使用

5.1 避免索引失效

1.全值匹配 ，对索引中所有列都指定具体值

2.. 最左前缀法则

3.范围查询右边的列，不能使用索引

4.不要在索引列上进行运算操作， 索引将失效

5.字符串不加单引号，造成索引失效（由于，在查询是，没有对字符串加单引号，MySQL的查询优化器，会自动的进行类型转换，造成索引失效。 ）

6.尽量使用覆盖索引，避免select * 。尽量使用覆盖索引（只访问索引的查询（索引列完全包含查询列）），减少select *

7. 用 or 分割开的条件， 如果 or 前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。

8.以%开头的Like模糊查询，索引失效。解决方法：通过覆盖索引来解决

9.如果MySQL评估使用索引比全表更慢，则不使用索引

10.is NULL ， is NOT NULL 有时索引失效。

11. in 走索引， not in 索引失效。

12.单列索引和复合索引。 （尽量使用复合索引，而少使用单列索引 ，创建复合索引）

6. SQL优化

6.1 大批量插入数据

mysql> load data local infile '文件地址' into table '表名' fields terminated by '分隔符' lines terminated by '\n';

1.主键顺序插入

因为InnoDB类型的表是按照主键的顺序保存的，所以将导入的数据按照主键的顺序排列，可以有效的提高导入数据的效率。如果InnoDB表没有主键，那么系统会自动默认创建一个内部列作为主键，所以如果可以给表创建一个主键将可以利用这点，来提高导入数据的效率。

2.关闭唯一性校验

在导入数据前执行 SET UNIQUE_CHECKS=0，关闭唯一性校验，在导入结束后执行SET UNIQUE_CHECKS=1，恢复唯一性校验，可以提高导入的效率

 

3. 手动提交事务

如果应用使用自动提交的方式，建议在导入前执行 SET AUTOCOMMIT=0 ，关闭自动提交，导入结束后再执行 SET AUTOCOMMIT=1 ，打开自动提交，也可以提高导入的效率。

6.2 插入数据

如果需要同时对一张表插入很多行数据时，应该尽量使用多个值表的 insert 语句，这种方式将大大的缩减客户端与数据库之间的连接、关闭等消耗。使得效率比分开执行的单个 insert 语句快。

 

6.3 order by优化

1.第一种是通过对返回数据进行排序，也就是通常说的 fifilesort 排序，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序

2.第二种通过有序索引顺序扫描直接返回有序数据，这种情况即为 using index，不需要额外排序，操作效率高。

尽量减少额外的排序，通过索引直接返回有序数据。 where 条件和 Order by 使用相同的索引，并且 Order By 的顺序和索引顺序相同， 并且 Order by 的字段都是升序，或者都是 降序。否则肯定需要额外的操作，这样就会出现 FileSort 。

 

6.4 group by的优化

由于 GROUP BY 实际上也同样会进行排序操作，而且与 ORDER BY 相比， GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，在 GROUP BY 的实现过程中，与 ORDER BY 一样也可以利用到索引。 如果查询包含 group by 但是用户想要避免排序结果的消耗， 则可以执行 order by null 禁止排序。

 

6.5 优化嵌套查询

Mysql4.1 版本之后，开始支持 SQL 的子查询。这个技术可以使用 SELECT 语句来创建一个单列的查询结果，然后把这个结果作为过滤条件用在另一个查询中。使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的 SQL 操作，同时也可以避免事务或者表锁死，并且写起来也很容易。但是，有些情况下，子查询是可以被更高效的连接 （ JOIN ）替代。

explain select * from t_user where id in ( select user_id from user_role );

优化后：

explain select * from t_user u , user_role ur where u .id = ur .user_id ;

 

 

6.6优化分页查询