1. MySql 解决中文字符插入不进去或者乱码
执行 show variables like ‘%char%’; 发现存在latinl字符编码
解决方案: 在linux环境下 找到 /etc/my.cnf (如果没有改文件,则在 mysql安装目录下复制一份并修改名称 cp /usr/share/mysql/my-default.cnf /etc/my.cnf)
vi /etc/my.cnf添加如下内容在相应位置
[client]
default-character-set=utf8
[mysqld]
character_set_server=utf8
character_set_client=utf8
collation-server=utf8_general_ci
[mysql]
default-character-set=utf8
重新启动数据库
service mysql stop
service mysql start
进去数据库重新建库建表插入中文数据ok,查询ok,但是之前数据库的仍然不行。
总结:mysql数据中文乱码通过show variables like ‘%char%’;查看若存在latinl字符,需要重设字符编码,将/etc/my.cnf下面的配置文件重新设置重启mysql,新建的库生效,之前的库仍然不生效,我们在安装完mysql的时候最好立马设置字符编码。
2. MySql配置文件 my.ini(windows) 或者 my.cnf(linux)
log-bin=mysql-bin:主从复制
log-err :错误日志,默认关闭,记录严重警告和错误信息,每次启动和关闭的详情信息
log:查询日志
/var/lib/mysql:数据库中的数据库
具体数据库中的 *.frm存放表结构 *.MYD存放数据 *.MYI 存放索引
Mysql的逻辑架构
Mysql存储引擎
查看存储引擎
show engines;
show variables like ‘%storage_engine%’;
MyISAM 和 InnoDB 的区别
Sql性能下降
具体表现为执行时间长,等待时间长
原因:
查询语句写的烂
索引失效
关联查询join太多
服务器调优及各个参数的设置(缓冲,线程数)
Sql执行加载顺序
顺序 | 关键词 | 语义 |
---|---|---|
1 | From on | 从 |
2 | where | 哪儿 |
3 | group by | 分组 |
4 | having | 有 |
5 | select distinct | 选择 |
6 | order by | 排序 |
7 | limit |
索引是什么
索引是排好序的快速查找的数据结构,会影响where后面的查找和order by 后面的排序
数据本身之外,数据库还维护着一个满足特定查找算法的数据结构,这些数据结构以某种方式指向数据,这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结构就是索引。
一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上。我们平常所说的索引,如果没有特别指明,都是B+(BTREE)树(多路搜索树,并不一定是二叉的)结构组织的索引
删除数据的时候最好进行逻辑删除,频繁的物理删除会使索引失效,更新update操作不仅会更新数据还会更新索引。
索引的优势和劣势
优势 :类似大学读书馆建书目索引,提高数据检索的效率,降低数据库的IO成本
通过索引列对数据进行排序,降低数据的排序成本,降低了CPU的消耗
劣势:实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索 引列也是要站空间的虽然索引提高了查询的速度同时却降低了更新(insert,update,delete)表的速度,因为更新表示时不仅要更新数据也要更新索引信息
索引分类和建索引命令
- 单列索引:一个索引包含单个列,一个表中可以包含多个单列索引
- 唯一索引:索引列值必须唯一,允许有空值
- 复合索引:一个索引包含多个列
语法:
创建
Create [unique] index indexName on table( columname(length) ...);
删除
Drop (indexName) on table;
查看
Show index from tablename;
indexName 一般为 index_表名_字段名
索引结构和检索原理
常见的索引结构
- BTREE 索引
- HASH索引
- Full-text全文索引
- R-TREE 索引
BTREE检索原理
哪些情况适合建索引
- 主键自动建立索引
- 频繁作为条件查找的字段建立索引
- 外键关联字段
- 查询中排序的字段,排序的字段若通过索引去访问将大大提高排序速度(查询的时候name,age,email 的顺序排序的时候也需要name,age,email的顺序)
- 查询中统计或分组的字段
哪些情况下不合适见索引
- 频繁更新的字段
- Where条件里用不到的字段
- 表记录太少(百万级别可以考虑建立索引,300w性能开始下降)
- 经常增删改的字段
- 数据重复且分布平均的字段
索引的选择性
假如一个表有10w行记录,有一个字段A只有true,false两种值,且每个值的概率分布为大概50%,那么对这种表A字段建立索引一般不会提高数据库的查询速度。
索引的选择性是指索引列中不同值的数目与表中记录数的比。如果一个表中有记录2000条,表的 索引列有1980个不同的 值,那么这个索引的选择性就是1980/2000 = 0.99一个索引的选择性越接近于1,这个索引的效率就高。
性能分析的前提知识
- Mysql有自带的查询优化器
- Mysql常见瓶颈:cpu,IO,服务器硬件性能
- explain
Explain的使用简介
是什么?
- 查看执行计划
能干嘛?
- 表的读取顺序 id
- 数据读取操作的操作类型 type
- 哪些索引可以使用 prossible_keys
- 哪些索引被实际使用 key
- 表之间的引用
- 每张表有多少行被优化器查询 rows
怎么玩?
Explain+sql 执行计划包含的信息
id :select 查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
三种情况:
- id相同表示执行顺序由上至下
- id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
- id相同又不同,同时存在。
Select_type
- Simple :简单的select查询,查询中不包含子查询或者union
- Primary:查询中若包含任何复杂的子部分,最外层查询被标记为Primary
- Subquery:在select或where列表中包含了子查询
- Derived:在from列表中包含的子查询被标记为derived(衍生)mysql会递归执行这些子查询,把结果放在临时表里
- Union:若第二个select出现在union之后,则被标记为union
- union result:从union表获取结果的select
Table
显示这一行数据是关于哪一张表的
Type
访问类型排列 从最好到最差依次是system>const>eq_ref>ref>range>index>all
- All为最差的一种情况全表扫描,当达到百万级数据量时如果type类型为all需要进行优化, 一般来得保证查询至少达到range级别,最好能达到ref。
- System:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现
- Const:表示通过索引一次就找到了,const用于primary key 或者 unique索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,mysql就能将该查询转换为一个常量
- Eq_ref 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描。
- Ref 非唯一性索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
- Range 只检索给定范围的行,使用一个索引来选择行。Key列显示使用了哪个索引一般就是在你的where语句中出现了between、< 、>、in 等的查询 这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束于另一点,不用扫描全表索引
- Index全索引扫描
- All 全表扫描
Possible_keys
Mysq推测可能会用到的索引,但不一定被实际查询使用
Keys
实际使用的索引,如果为null,则表示没有使用索引,要么没建,要么建了没用上,索引失效。查询中若使用了覆盖索引,则该索引仅出现在key列表中(查询列与建立索引的列、顺序完全一致)
Key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好,key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
Ref
显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
Rows
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数。越小越好
Extra
包含不适合在其它列中显示但十分重要的额外信息
- Using filesort 说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取,mysql中无法利用索引完成的排序操作称为“文件排序”
- Using temporary 使用了临时表保存中间结果,mysql在对查询结果排序时使用临时表。常见于排序order by 和分组查询 group by
- Using index 表示相应的select 操作中使用了覆盖索引(Covering index),避免访问了表的数据行,效率不错;如果同时出现了using where表明索引被用来执行索引键值的查找;如果没有同时出现using where 表明索引用来读取数据而非执行查找动作。覆盖索引(Covering index):索引覆盖 就是select的数据列只用从索引中就能够取得,不必读取数据行,mysql可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。
- Using where 表明使用了where 过滤
- Using join buffer 使用了连接缓存
- Impossible where where子句的值总是false,不能用来获取任何(where name = “aaa” and name = “bbb”)
- Select tables optimized away
- distonct
Explain 之热身case
索引单表优化案例
按照BTree索引的工作原理,先排序category_id,如果遇到相同的category_id再排序comments,如果遇到相同的comments再排序views,当comments字段在联合索引中处于中间位置时,因为comments>1条件是一个范围值(所谓range),mysql无法利用索引在对后面的views部分进行检索,即range类型查询字段后面的索引无效。
解决方法:重新在字段category_id views 上建立联合索引
索引两表优化案例
索引三表优化案例
Alter table ‘phone’ add index z (‘card’);
Alter table ‘book’ add index Y (‘card’);
后两行的type都是ref且总rows优化很好,效果不错。因此索引最好设置在需要经常查询的字段中
结论:join 语句的优化尽可能减少join语句中的嵌套循环的总次数;永远用小的结果集驱动大的结果集优先优化嵌套循环的内层循环保证join语句中被驱动表上join条件字段已经被索引当无法保证被驱动表的join条件字段被索引且内存资源充足的情况下,不要太吝啬join buffer的设置。
索引优化一
创建复合索引(name,age,pos)
全值匹配我最爱
最佳左前最法则,带头大哥不能死,中间兄弟不能断
索引优化二
不在索引列上做任何操作(计算、函数、自动或手动类型转换),会导致索引失效而转向全表扫描
索引优化三
存储引擎不能使用索引中范围条件右边的列
范围之后全失效
索引优化四
尽量使用覆盖索引(只访问索引列的查询就是索引列和查询列一致),减少select *
索引优化五
使用 不等于(!= <>)的时候无法使用索引会导致全表扫描
索引优化六
Is null is not null 也无法使用索引
索引优化七
Like以通配符开头(‘%abc…’) mysql 索引失效会变成全表扫描操作
百分like加右边
强烈建议采用覆盖索引解决like两边都有百分号的情况。
索引优化八
字符串不加单引号索引失效
索引优化九
少用or,用or来连接是会索引失效
索引面试题分析
Group by 分组之前都需要先进行排序,会有临时表产生
一般性建议
- 对于单键索引,尽量选择针对当前查询过滤性更好的索引
- 在选择组合索引的时候,当前查询中过滤性最好的字段在索引字段顺序中,位置越靠左越好。
- 在选择组合索引的时候,尽量选择可以能够包含当前查询中的where句中更多字段的索引尽可能通过分析统计信息和调整查询的写法来达到选择合适索引的目的
优化口诀总结
小表驱动大表 in exists区别