数据库优化

找出执行效率低Sql（定位慢查询）- 发现问题
分析慢Sql expain sql - 分析问题
优化 - 解决问题

单机优化

定位慢查询

查看执行的线程

show processlist 可以用来查看当前数据库SQL正在执行的情况，定位SQL的状态

查询慢查询次数

show status like ‘slow_queries’; 慢查询，通常指花了2S以上的查询(默认10s)

查看和修改慢查询时间阈值

show variables like ‘long_query_time’ ; //可以显示当前慢查询时间 ， 默认阈值 10s
set long_query_time=1 ; //可以修改慢查询时间 ， 可以通过my.ini永久修改
注意：直接修改global 的long_query_time 之后在当前的的窗口中是没有效果的，在新打开的窗口中 才会有效果。如果想让本窗口也有效果 的话，不用加 global关键字。
set global slow_query_log=ON 开启慢查询日志

查看慢查询的日志路径

show variables like ‘%slow_query_log%’;
5.6以上版本使用： show variables like ‘%slow-query-log-file%’

开启全局日志慢查询日志

SET GLOBAL slow_query_log = 1 //开启慢查询日志
SET GLOBAL slow_query_log_file=‘路径\Data\LAPTOP-20VLGCRC-slow.log’ //指定慢查询日志文件

把查询日志记录到table

通过执行： set global log_output=‘TABLE’; 或者修改my.ini ：log_output=“FILE,TABLE”
通过执行：select * from mysql.slow_log; 查看日志内容

记录未使用索引的SQL

set global log_queries_not_using_indexes=ON

什么时候开启慢查询
系统中所有sql都执行一遍，才能判断是否有慢sql。什么时候开启能覆盖所有sql执行？
开发者自验：开发完成后，需要统一打包，统一部署，统一验证，开发者在集成测试的时候可以开启慢查询
测试人员测试：测试人员需要测试所有功能。
项目上线：开一段时间,把它关了.或者不开
用户用了所有功能。
开启日志记录是会影响性能的

explain(分析sql语句)

通过 explain 语句可以分析，mysql如何执行你的sql语句.

explain select * from t_course 

分析结果

对应的11行数据的意思是：

信息	描述
id	查询的序号，包含一组数字，表示查询中执行select子句或操作表的顺序两种情况id相同，执行顺序从上往下id不同，id值越大，优先级越高，越先执行
select_type	查询类型，主要用于区别普通查询，联合查询，子查询等的复杂查询1、simple ——简单的select查询，查询中不包含子查询或者UNION2、primary ——查询中若包含任何复杂的子部分，最外层查询被标记3、subquery——在select或where列表中包含了子查询4、derived——在from列表中包含的子查询被标记为derived（衍生），MySQL会递归执行这些子查询，把结果放到临时表中5、union——如果第二个select出现在UNION之后，则被标记为UNION，如果union包含在from子句的子查询中，外层select被标记为derived6、union result:UNION 的结果
table	输出的行所引用的表
type	显示联结类型，显示查询使用了何种类型，按照从最佳到最坏类型排序1、system：表中仅有一行（=系统表）这是const联结类型的一个特例。2、const：表示通过索引一次就找到，const用于比较primary key或者unique索引。因为只匹配一行数据，所以如果将主键置于where列表中，mysql能将该查询转换为一个常量3、eq_ref:唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于唯一索引或者主键扫描4、ref:非唯一性索引扫描，返回匹配某个单独值的所有行，本质上也是一种索引访问，它返回所有匹配某个单独值的行，可能会找多个符合条件的行，属于查找和扫描的混合体5、range:只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引，一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好，因为它开始于索引的某一个点，而结束另一个点，不用全表扫描6、index:index 与all区别为index类型只遍历索引树。通常比all快，因为索引文件比数据文件小很多。7、all：遍历全表以找到匹配的行注意:一般保证查询至少达到range级别，最好能达到ref。
possible_keys	指出MySQL能使用哪个索引在该表中找到行
key	显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL。查询中如果使用覆盖索引，则该索引和查询的select字段重叠
key_len	表示索引中使用的字节数，该列计算查询中使用的索引的长度在不损失精度的情况下，长度越短越好。如果键是NULL,则长度为NULL。该字段显示为索引字段的最大可能长度，并非实际使用长度。
ref	显示索引的哪一列被使用了，如果有可能是一个常数，哪些列或常量被用于查询索引列上的值
rows	根据表统计信息以及索引选用情况，大致估算出找到所需的记录所需要读取的行数
Extra	包含不适合在其他列中显示，但是十分重要的额外信息1、Using filesort：说明mysql会对数据适用一个外部的索引排序。而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作称为“文件排序”2、Using temporary:使用了临时表保存中间结果，mysql在查询结果排序时使用临时表。常见于排序order by和分组查询group by。3、Using index:表示相应的select操作用使用覆盖索引，避免访问了表的数据行。如果同时出现using where，表名索引被用来执行索引键值的查找；如果没有同时出现using where，表名索引用来读取数据而非执行查询动作。4、Using where :表明使用where过滤5、using join buffer:使用了连接缓存6、impossible where:where子句的值总是false，不能用来获取任何元组7、select tables optimized away：在没有group by子句的情况下，基于索引优化Min、max操作或者对于MyISAM存储引擎优化count（*），不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。8、distinct：优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作。

Profiling(分析sql执行流程)

Explan只能看到Sql的执行情况，是否使用索引，profiling命令可以详细的看到SQL的IO，CPU的使用情况 ,以及底层执行SQL的每一个细节步骤

1. 开启Profiling
   使用 cmd去执行mysql，不用navcat工具
   Mysql> set profiling = 1; //开启SQL的profiling统计
   Mysql> select * from uer //执行sql
   Mysql> set profiling = 0; //关闭profiling

2. 查看记录的Query
   Mysql> show profiles;

3. 查看cpu,io等
   Mysql> show profile cpu,block io for query 6;
   Mysql> show profile for query 6;

优化

根据实际情况看是否需要违反数据库的三范例

选择合理的存储引擎

索引

多机优化

分表分库

垂直分表-宽表拆分

比如这张图就可以拆成三张表

垂直分库-按业务分库

水平分表-海量表拆分小表

这个就没什么好讲的了，但是要注意分表规则比如：

1. 按区间范围分表

一般在有严格的自增id需求上，如按照user_id水平分表：
table_1 user_id从1~100w
table_2 user_id从101~200w
table_3 user_id从201~300w
实现方式有：
新创建一个表，该表的自增ID作为分表的ID（性能差）
使用Redis的自增incr 命令
使用UUID(比较low)

2. 按时间分表（根据业务来）

比如一个月分一个表，那么一年也就分12张表 ，这种方式适用于时效性很强的场景，比如登录日志，一般都是看最近一个月的日志，很少去看一月前的，或者一年前的。甚至更老旧的数据可以直接删掉。

3. Hash分表

通过ID或者名称通过一定的hash算法计算出数据存储表的表名然后访问相应的表,这种方法比较通用
比如：准备好100个表 ： t_course_01 , t_course_02, … ,t_course_100

然后计算：hash(商品名+id) % 3 +1 ，余数就对应表名

4. 雪花算法

Snowflake，雪花算法是由Twitter开源的分布式ID生成算法，以划分命名空间的方式将 64-bit位分割 成多个部分，每个部分代表不同的含义(41位时间戳,10位机器号，12位序列号)。而 Java中64bit的整数是Long类型，所以在 Java 中 SnowFlake 算法生成的 ID 就是 long 来存储的

分布式id生成方案
https://blog.csdn.net/charlesyoosky/article/details/95164847

水平分库-同一业务表拆分到不同的库

一样可以用hash来分配
比较好的方案

集群方案，主从同步，读写分离