目录
一. mysql索引
1 索引的概念
索引是一个排序的列表
,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址(类似于c语言的链表通过指针指向数据记录的内存地址)。使用索引后可以不用扫描全表来定位某行的数据
,而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据,因此能加快数据库的查询速度。索引就好比是一本书的目录
,可以根据目录中的页码快速找到所需的内容。索引是表中一列或者若干列值排序的方法
建立索引的目的是加快对表中记录的查找或排序。
2 索引的作用
- 设置了合适的索引之后,数据库利用各种快速定位技术,能够大大加快查询速度,这是创建索引的最主要的原因。
- 当表很大或查询涉及到多个表时,使用
索引可以成千上万倍地提高查询速度
。 - 可以降低数据库的IO成本,并且
索引还可以降低数据库的排序成本
。 - 通过创建唯一性索引,可以
保证数据表中每一行数据的唯一性
。 - 可以加快表与表之间的连接
- 在使用分组和排序时,可大大减少分组和排序的时间。
- 建立索引在搜索和恢复数据库中的数据时能显著提高性能
2.1 索引的缺点
索引需要占用额外的磁盘空间。
更新一个包含索引的表需要比更新一个没有索引的表花费更多的时间
,这是由于索引本身也需要更新。因此,理想的做法是仅仅在常常被搜索的列(以及表)上面创建索引
3 创建索引的原则依据
表的主键、外键必须有索引
。因为主键具有唯一性,外键关联的是主表的主键,查询时可以快速定位。记录数超过300行的表应该有索引
。如果没有索引,每次查询都需要把表遍历一遍,会严重影响数据库的性能。经常与其他表进行连接的表
,在连接字段上应该建立索引。唯一性太差的字段不适合建立索引
。更新太频繁的字段不适合创建索引
。经常出现在where子句中的字段
,特别是大表的字段,应该建立索引。- 在
经常进行GROUP BY(分组)、 ORDER BY(排序)的字段
上建立索引; - 索引应该建在选择性高的字段上。
4 索引的分类和创建
create table member (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text);//插入数据
insert into member values(1, 'zhangsan' ,123123, 123123, 'nanjing', 'this is member!');
insert into member values(2, 'lisi', 456456, 456456, 'beijing','this is vip!');
insert into member values(3, 'wangwu', 789789, 78979, ' shanghai', 'this is vip member!');
4.1 普通索引
直接创建索引
CREATE INDEX 索引名 ON 表名(列名[(length)]);
create index name_index on memeber(name);
修改表方式创建
ALTER TABLE 表名 ADD INDEX 索引名(列名);
//例
alter table member add index cid_index(cardid);
创建表的时候指定索引
CREATE TABLE 表名 (字段1 数据类型,字段2 数据类型[...], INDEX 索引名(列名));
//例
create table member1 (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text,index name_index(name));
4.2 唯一索引
直接创建唯一索引
CREATE UNIQUE INDEX 索引名 ON 表名(列名);
//例:
create unique index cardid_index on member(cardid);
修改表方式创建
ALTER TABLE 表名 ADD UNIQUE 索引名(列名);
//例
alter table member add unique cardid_index(cardid)
创建表的时候指定
CREATE TABLE 表名 (字段1 数据类型,字段2 数据类型,[....],UNIQUE 索引名(列名));
//例
create table member2 (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text,unique name_index(name));
4.3 主键索引
创建表的时候指定
CREATE TABLE 表名([...],PRIMARY KEY (列名));
create table member3 (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text,primary key(name));
修改表方式创建
ALTER TABLE 表名 ADD PRIMARY KEY(列名);
//例:
alter table member add primary key(id);
4.4 组合索引
CREATE TABLE 表名(列名1 数据类型,列名2 数据类型,INDEX 索引名(列名1,列名2));
select * from 表名 where 列名1='...' AND 列名2='...';
修改表方式创建
ALTER TABLE 表名 ADD INDEX 索引名(列名1,列名2);
//例
alter table member add index id_name_index(id,name);
直接创建索引
CREATE INDEX 索引名 on 表名(字段1,字段2,字段3);
//示例:
create index name_cardid_phone_index on member4(name,cardid,phone);
4.5 全文索引
直接创建索引
CREATE FULLTEXT INDEX 索引名 ON 表名(列名);
create fulltext index name_fulltext on member(name);
修改表方式创建
ALTER TABLE 表名 ADD FULLTEXT 索引名(列名);
alter table member add fulltext remark_index(remark);
创建表的时候指定索引
CREATE TABLE 表名(字段1 数据类型[,...], FULLTEXT 索引名(列名));
create table member4 (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text,fulltext remark_index(remark));
使用全文索引查询
插入数据
insert into member4 values(1, 'zhangsan' ,123123, 123123, 'nanjing', 'this is member!');
insert into member4 values(2, 'lisi', 456456, 456456, 'beijing','this is vip!');
insert into member4 values(3, 'wangwu', 789789, 78979, ' shanghai', 'this is vip member!');
SELECT * FROM 表名 WHERE MATCH (列名) AGAINST ('查询内容');
模糊查询
select * from member where match (remark) against('vip') ;
5 删除索引
直接删除索引
DROP INDEX 索引名 ON 表名;
drop index name_index on member;
修改表方式删除索引
ALTER TABLE 表名 DROP INDEX 索引名;
alter table member drop index cid_index;
删除主键索引
ALTER TABLE 表名 DROP PRIMARY KEY;
alter table member3 drop primary key;
6 查看索引
show index from 表名;
show keys from 表名;
例:
show index from member\G
Table: member
Non_unique: 0
Key_name: cardid_index
Seq_in_index: 1
Column_name: cardid
Collation: A
Cardinality: 3
Sub_part: NULL
Packed: NULL
Null: YES
Index_type: BTREE
Comment:
Index_comment:
字段的含义
Table: 表的名称。
Non_unique: 如果索引不能包括重复词,则为0; 如果可以,则为1。
Seq_in_index: 索引中的列序号,从1开始。
Column_name: 列名称。
Collation: 列以什么方式存储在索引中。在MySQL中,有值'A'(升序)或NULL (无分类)。 Cardinality: 索引中唯一值数且的估计值。
Sub_part: 如果列只是被部分地编入索引,则为被编入索引的字符的数目。如果整列被编入索引,则为NULL。
Packed:指示关键字如何被压缩。如果没有被压缩,则为NULL。 Null:如果列含有NULL,则含有YES。 如果没有,则该列含有NO。
Index_type: 用过的索引方法(BTREE, FULLTEXT, HASH, RTREE) 。 Comment:备注。
7 索引的作用和缺点
作用: 加快查询速度,对字段进行排序
缺点:索引需要占用额外的磁盘空间。
在插入和修改数据时要花费更多的时间、消耗更多性能,因为索引也要随之变动
7.1 索引是如何提高查询速度的
索引包含着对数据表里所有记录的引用指针。索引是一个排序的列表,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址。
使用索引后可以不用扫描全表来定位某行的数据,而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据,因此能加快数据库的查询速度。
7.2 select 语句的慢查询问题,如何处理?
使用 explain 命令,即 explain select ...;
分析一下 这个 select语句是否使用了索引或者索引使用是否正确。
如果没有用索引或者索引用得不正确,可以使用 create index 索引名 on 表名 (字段);
或者 alter table 表名 add index 索引名(字段);
添加索引去优化查询速度。
二. 事务
1 事务的概念
事务是一种机制、一个操作序列
,包含了一组数据库操作命令,并且把所有的命令作为一个整体一起向系统提交或撤销操作请求
,即这一组数据库命令要么都执行,要么都不执行。- 事务是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时,事务是最小的控制单元。
- 事务适用于多用户同时操作的数据库系统的场景,如银行、保险公司及证券交易系统等等。
- 事务通过事务的整体性以保证数据的一致性
- 事务能够提高在向表中更新和插入信息期间的可靠性。
2 事务的ACID特点
ACID,是指在可靠数据库管理系统(DBMS) 中,事务(transaction)应该具有的四个特性:原子性(Atomicity) 、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)这是可靠数据库所应具备的几个特性。
2.1 原子性
指事务是一个不可再分割的工作单位,事务中的操作要么都发生,要么都不发生。
- 事务是一个完整的操作,事务的各元素是不可分的。
- 事务中的元素必须作为一个整体提交或回滚。
- 如果事务中的任何元素失败,则整个事务将失败。
2.2 一致性(保证数据的完整性)
指在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。
- 当事务完成时,数据必须处于一致状态。
- 在事务开始前,数据库中存储的数据处于一致状态。
- 在正在进行的事务中,数据可能处于不一致的状态。
- 当事务成功完成时,数据必须再次回到已知的一致状态。
2.3 隔离性
指在并发环境中,当不同的事务同时操纵相同的数据时,每个事务都有各自的完整数据空间。
- 对数据进行修改的所有并发事务是彼此隔离的,表明事务必须是独立的,它不应以任何方式依赖于或影响其他事务。
- 修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据,或者在另一个使用相同数据的事务结束之后访问这些数据。
- 也就是说并发访问数据库时,一个用户的事务不被其他事务所干扰,各并发事务之间数据库是独立的。
2.3.1 事务之间的相互影响
脏读: 当一个事务正在访问数据,并且对数据进行了修改,而这种修改还没有提交到数据库中,这时,另外一个事务也访问这个数据然后使用了这个数据。
不可重复读: 指在一个事务内,多次读同一数据。 在这个事务还没有结束时,另外一个事务也访问该同一数据。那么,在第一个事务中的两次读数据之间,由于第二个事务的修改,那么第一个事务两次读到的的数据可能是不一样的。这样就发生了在一一个事务内两次读到的数据是不一样的,因此称为是不可重复读。( 即不能读到相同的数据内容)
幻读: 一个事务对一个表中的数据进行了修改,这种修改涉及到表中的全部数据行。同时,另一个事务也修改这个表中的数据,这种修改是向表中插入一行新数据。 那么,操作前一个 事务的用户会发现表中还有没有修改的数据行,就好象发生了幻觉一样 。
丢失更新: 两个事务同时读取同一条记录,A先修改记录,B也修改记录(B不知道A修改过),B提交数据后B的修改结果覆盖了A的修改结果。
2.3.2 事务的隔离级别
未提交读(Read Uncommitted(RU)):
允许脏读,即允许一个事务可以看到其他事务未提交的修改。
提交读(Read Committed (RC)):
允许一个事务只能看到其他事务已经提交的修改,未提交的修改是不可见的。防止脏读
可重复读(Repeatable Read(RR)): mysql默认的隔离级别
确保如果在一个事务中执行两次相同的SELECT语句,都能得到相同的结果,不管其他事务是否提交这些修改。可以防止脏读和不可重复读。
串行读(serializable):相当于锁表
完全串行化的读,将一个事务与其他事务完全地隔离。每次读都需要获得表级共享锁,读写相互都会阻塞。可以防止脏读,不可重复读取和幻读,(事务串行化)会降低数据库的执行效率。
隔离级别 | 脏读取 | 不可重复读 | 幻像读 | 第一类丢失更新 | 第二类丢失更新 |
---|---|---|---|---|---|
未提交读 | 允许 | 允许 | 允许 | 禁止 | 允许 |
已提交读 | 禁止 | 允许 | 允许 | 禁止 | 允许 |
可重复读 | 禁止 | 禁止 | 对 InnoDB 禁止 | 禁止 | 禁止 |
串行读 | 禁止 | 禁止 | 禁止 | 禁止 | 禁止 |
2.3.3 事务隔离级别的作用范围
事务隔离级别的作用范围分为两种:
- 全局级:对所有的会话有效
- 会话级:只对当前的会话有效(退出连接后即失效)
2.3.4 查询事务的隔离级别
查询全局事务隔离级别:
variables 指变量, global variables 指全局变量。
show global variables like '%isolation%'; //方法一
SELECT @@global.tx_isolation; //方法二
//注释:
//like:表示模糊查询。
//'%isolation%':表示包含isolation字符串。
//'isolation%':以isolation字符串开头。
//'%isolation':以isolation字符串结尾。
查询会话事务隔离级别
session variables 指会话变量
show session variables like '%isolation%'; //方法一
SELECT @@session.tx_isolation; //方法二
SELECT @@tx_isolation; //方法三
2.3.5 设置事务的隔离级别
设置全局事务隔离级别:
全局级别设置之后,当前会话需要退出重新进入才会生效。
set global transaction isolation level 隔离级别; //永久生效
set global transaction isolation level read committed; //将全局事务隔离级别设置为提交读(RC)
//read uncommitted 未提交读
//read committed 提交读
//repeatable read 可重复读
//serializable 串行读
设置会话事务隔离级别:
会话事务隔离级别只对当前连接有效,退出连接后失效。在其他终端连接无效。
set session transaction isolation level 隔离级别;
//示例:
set session transaction isolation level read committed; //将会话事务隔离级别设置为提交读(RC)
2.3.6 持久性
在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之中,并不会被回滚。
指不管系统是否发生故障,事务处理的结果都是永久的。
一旦事务被提交,事务的效果会被永久地保留在数据库中。
3 事务控制语句
BEGIN
或 START TRANSACTION:显示地开启一个事务
。COMMIT
或 COMMITWORK:提交事务
,并使己对数据库进行的所有修改变为永久性的。ROLLBACK
或 ROLLBACK WORK:回滚会结束用户的事务
,并撤销正在进行的所有未提交的修改。SAVEPOINT S1
:使用 SAVEPOINT允许在事务中创建一个回滚点
,一个事务中可以有多个SAVEPOINT: “S1"代表回滚点名称。ROLLBACK TO [SAVEPOINT] S1
: “S1"代表回滚点名称,把事务回滚到标记点
。
3.1 自动提交事务
show variables like 'autocommit';
set autocommit=0 | 1; // 0代表关闭自动提交事务,1代表开启
3.2 案例
//插入数据
use can;
create table account (
id int(10) primary key not null,
name varchar(40),
money double);
insert into account values (1, 'A', 1000);
insert into account values (2, 'B', 1000);
当前隔离级别:未提交读
三. 存储引擎介绍
1 存储引擎概念介绍
- MySQL中的数据用各种不同的技术存储在文件中,每种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引擎
- 存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式
- MySQL常用的存储引擎
- MySQL数据库中的组件,负责执行实际的数据I/O操作
- MySQL系统中,存储引擎处于文件系统之上,在数据保存到数据文件之前会传输到存储引擎,之后按照各个存储引擎的存储格式进行存储
2 MylSAM的特点介绍
MylSAM不支持事务,也不支持外键约束,只支持全文索引
,数据文件和索引文件是分开保存的访问速度快
,对事务完整性没有要求MyISAM适合查询、插入为主的应用
- MyISAM在磁盘.上存储成三个文件,文件名和表名都相同,但是扩展名分别为:
.frm 文件存储表结构的定义
数据文件的扩展名为.MYD
(MYData)索引文件的扩展名是.MYI
(MYIndex)
表级锁定形式
,数据在更新时锁定整个表- 数据库在读写过程中相互阻塞
- 会在数据写入的过程阻塞用户数据的读取
- 也会在数据读取的过程中阻塞用户的数据写入
- 数据单独写入或读取,速度过程较快且占用资源相
- MyIAM支持的存储格式
- 静态表
- 动态表
- 压缩表
2.1 MyISAM表支持3种不同的存储格式
静态(固定长度)表
静态表是默认的存储格式。静态表中的字段都是非可变字段,这样每个记录都是固定长度的,这种存储方式的优点是存储非常迅速容易缓存,出现故障容易恢复,缺点是占用的空间通常比动态表多
。
动态表
动态表包含可变字段,记录不是固定长度的,这样存储的优点是占用空间较少,但是频繁的更新、删除记录会产生碎片,需要定期执行OPTIMIZETABLE语句或myisamchk -r命令来改善性能,并且出现故障的时候恢复相对比较困难
压缩表
压缩表由myisamchk工具创建,占据非常小的空间
,因为每条记录都是被单独压缩的,所以只有非常小的访问开支,但会损耗一些性能
。
2.2 MyISAM适用的生产场景举例
- 公司业务不需要事务的支持
- 单方面读取或写入数据比较多的业务
- MyISAM存储引擎数据读写都比较频繁场景不适合
- 使用读写并发访问相对较低的业务
- 数据修改相对较少的业务
- 对数据业务一致性要求不是非常高的业务
- 服务器硬件资源相对比较差
3 InnoDB特点介绍
支持事务,支持4个事务隔离级别
- MySQL从5.5.5版本开始,默认的存储引擎为InnoDB
- 读写阻塞与事务隔离级别相关
- 能非常高效的缓存索引和数据
- 表与主键以簇的方式存储
- 支持分区、表空间,类似oracle数据库
- 支持外键约束,5.5前不支持全文索引,5.5后支持全文索引
- 对硬件资源要求还是比较高的场合
行级锁定
,但是全表扫描仍然会是表级锁定,如
update table set a=1 where user like '%zhang%';
- InnoDB中不保存表的行数,如
select count(*) from table
;时,InnoDB需要扫描一遍整个表来计算有多少行,但是;MyISAM只要简单的读出保存好的行数即可。需要注意的是,当count(*)
语句包含where条件时MyISAM也需要扫描整个表 - 对于自增长的字段,InnoDB中必须包含只有该字段的索引 ,但是在MyISAM表中可以和其他字段一起建立组合索引
- 清空整个表时,InnoDB 是一行一行的删除,效率非常慢。MyISAM则会重建表
3.1 InnoDB使用表级锁定的场景
- 全表扫描的时候,比如where语句中使用like做模糊查询的时候
select count(*)
统计全表的记录行数的时候- 使用没有索引的字段操作的时候
3.2 InnoDB适用生产场景分析
- 业务需要事务的支持
- 行级锁定对高并发有很好的适应能力,但需确保查询是通过索引来完成
- 业务数据更新较为频繁的场景
- 如:论坛,微博等
- 业务数据一致性要求较高
- 如:银行业务
- 硬件设备内存较大,利用InnoDB较好的缓存能力来提高内存利用率,减少磁盘IO的压力
4 企业选择存储引擎依据
- 需要考虑每个存储引擎提供了哪些不同的核心功能及应用场景
- 支持的字段和数据类型
- 所有引擎都支持通用的数据类型
- 但不是所有的引擎都支持其它的字段类型,如二进制对象
- 锁定类型:不同的存储引擎支持不同级别的锁定
- 表锁定: MyISAM 支持
- 行锁定: InnoDB 支持
- 索引的支持
- 建立索引在搜索和恢复数据库中的数据时能显著提高
- 不同的存储引擎提供不同的制作索引的技术
- 有些存储弓|擎根本不支持索引
- 事务处理的支持
- 提高在向表中更新和插入信息期间的可靠性
- 可根据企业业务是否要支持事务选择存储引擎
5 查看引擎
5.1 查看系统支持的存储引擎
show engines;
5.2 查看表使用的存储引擎
show table status from 库名 where name='表名'\G
//例:
show table status from can where name='member'\G
use 库名;
show create table 表名;
//例
use can;
show create table member;
5.3 修改存储引擎
通过alter table修改库名
alter table 表名 engine = MyISAM;
//例:
alter table member engine = MyISAM;
show create table member\G
通过修改/etc/mv.cnf 配置文件,指定默认存储引擎并重启服务
[root@localhost ~]# vim /etc/my.cnf
[mysqld]
default-storage-engine=InnoDB #修改这一行,指定默认存储引擎为InnoDB
[root@localhost ~]# systemctl restart mysqld //重启服务
5.4 创建表时指定存储引擎
use 库名;
create table 表名(字段1 数据类型,...) engine=存储引擎名称;
示例:
use can;
create table test(id int,name char(10)) engine=MyISAM; ##指定存储引擎为MyISAM
6 行级锁定与表级锁定
先创建一个表,并插入数据
//创建表
create table t1 (id int primary key,name char(4),age int);
//插入数据
insert into t1 values (1,'aaa',22);
insert into t1 values (2,'bbb',23);
insert into t1 values (3,'ccc',24);
insert into t1 values (4,'aaa',25);
insert into t1 values (5,'bbb',26);
//给name字段添加索引
alter table t1 add index name_index(name);
delete from t1 where id=1;
//因为id字段是主键,Innodb对于主键使用了索引,删除过程中会直接锁住整行记录。行级锁定。
delete from t1 where name='aaa';
//因为name字段是普通索引,会先锁住索引的两行(因为aaa有两行),接着会锁住相应主键对应的记录。行级锁定。
delete from t1 where age=23;
//因为age字段没有索引,会使用全表扫描过滤,这时表上的各个记录都将加上锁。表级锁定
死锁
表锁会导致表中数据的读写相互阻塞
行锁如果使用不当会导致死锁(死锁一般是事务相互等待对方释放资源,最后形成环路造成的)
for update: 可以为数据库中的行上一个排它锁。当一个事务的操作未完成时,其他事务可以读取该行数据,但是不能写入、更新或删除
如何避免死锁?
使用更合理的业务逻辑,以固定的顺序访问表和行数据 大事务拆小,大事务更容易出现死锁,如果业务允许,将大事务拆成多个小事务执行 在同一个事务中,尽可能做一次锁定所需的所有资源,减少死锁概率 降低隔离级别。如果业务允许,可以降低隔离级别,比如把RR调整成RC,这样可以避免很多造成死锁的因素 为表字段添加合理的索引。因为不使用会进行表级锁定,死锁的概率就会提高