1.mysql表级别引擎有8中,使用最普遍的是InnoDB、MyISAM
2.InnoDB、MyISAM引擎建表,数据存放在安装mysql目录下的data文件下,根据数据库名进行目录分类。
使用InnoDB引擎创建一个张user_innodb表,id为自增主键,生成的文件(1)user_innodb.frm:存放user表的结构、字段信息(2)user_innodb.ibd:存放索引及数据值
主键索引底层存放,叶子节点是一个多行的表,第一行存的是主键的key值,后面行存放其它字段的值
存储文件:
主键索引存放:
使用MyISAM引擎创建一个张user_myisam表,id为自增主键,生成的文件(1)user_myisam.frm:存放user表的结构、字段信息(2)user_myisam.MYI(我的索引):存放索引(3)user_myisam.MYD(我的数据):存放数据值
主键索引底层存放,叶子节点是一个两行的表,第一行存的是主键的key值,第二行存放指向myd文件的地址指针
存储文件:
主键索引存放:
非主键索引存放:
3.mysql数据底层使用B+tree的方式进行数据存储,与b tree相比,b+tree有叶子节点的一个连接指向,方便进行区间查询;创建表推荐使用InnoDB引擎,主键使用自增的方式,因为主键索引的叶子节点是一个深序的方式存放,便于操作数据。非主键的字段建立索引,mysql底层存存放的是执行主键索引的地址,然后再通过主键索引的地址匹配到值
4.组合字段建立索引,查询的时候需要使用最左原则,使用username,age,sex创建索引,查询条件需要具备第一个字段username才走索引,因为组合索引是按着建立字段的顺序进行排序的,username字段是有序,但是age和sex就不是有序的
5.InnoDB和MyIsam的区别
(1)InnoDB支持事务,MyISAM不支持
(2)InnoDB支持外键,MyISAM不支持
(3)MyISAM适合查询以及插入为主的应用,InnoDB适合频繁修改以及涉及到安全性较高的应用
(4)InnoDB支持行锁,MyISAM不支持
(5)InnoDB 中不保存表的具体行数,也就是说,执行select count(*) from table时,InnoDB要扫描一遍整个表来计算有多少行;select count(*) from table,MyISAM只要简单的读出保存好的行数,注意的是,当count(*)语句包含where条件时,两种表的操作是一样的
6.查看sql是否走索引可以在查询语句前加EXPLAIN,查询结果有表名,走的索引,结果行数
EXPLAIN SELECT * FROM gj_common_item111 WHERE org_code='110000'
6.锁的相关点
(1)MyISAM Lock Read(共享读):MyISAM表的读操作,不会阻塞其他用户对同一个表的读请求,但会阻塞对同一个表的写请求
clientA:
lock table roles read; //读锁
select * from roles where id = 1; //查询成功
clientB:
select * from roles where id = 1; //查询成功
update roles set name = 'root'; //卡住,等待锁释放
ClientA:
unlock tables; //解锁
clientB:
update roles set name = 'root2'; //更新成功
(2)MyISAM Lock Write(读占写):MyISAM表的写操作,会阻塞其他用户对同一个表的读和写操作
clientA:
lock table roles write; //写锁
select * from roles where id = 1; //查询成功
update roles set name = 'admin' where id = 1; //更新成功
clientB:
select * from roles where id = 1; //卡住,等待锁释放
ClientA:
unlock tables; //解锁
clientB:
select * from roles where id = 1; //查询成功
(3)查看表锁级:SHOW STATUS LIKE '%table_lock%',table_locks_waited(表锁等待,无法立即获得数据)和table_locks_immediate(立即获得锁地查询数目)
(4)行锁在InnoDB中使用有一个前提条件:检索数据时需要通过索引!因为InnoDB是通过给索引的索引项加锁来实现行锁的;在不通过索引条件查询的时候,InnoDB会使用表锁,这在并发较大时,可能导致大量的锁冲突
(5)行锁会产生死锁,因为在行锁中,锁是逐步获得的,主要分为两步:锁住主键索引,锁住非主键索引。如:当两个事务同时执行时,一个锁住了主键索引,在等待其他索引;另一个锁住了非主键索引,在等待主键索引。这样便会发生死锁。InnoDB一般都可以检测到这种死锁,并使一个事务释放锁回退,另一个获取锁完成事务
7.数据库事务
(1)事务四大特征(ACID)
- 原子性(A):事务是最小单位,不可再分
- 一致性(C):事务要求所有的DML(insert、update、delete)语句操作的时候,必须保证同时成功或者同时失败
- 隔离性(I):事务A和事务B之间具有隔离性
- 持久性(D):是事务的保证,事务终结的标志(内存的数据持久到硬盘文件中)
(2)事务的一些术语
- 开启事务:Start Transaction
- 事务结束:End Transaction
- 提交事务:Commit Transaction
- 回滚事务:Rollback Transaction
(3)提交操作、回滚操作
mysql> start transaction;#手动开启事务
mysql> insert into t_user(name) values('pp');
mysql> commit;#commit之后即可改变底层数据库数据
mysql> select * from t_user;
+----+------+
| id | name |
+----+------+
| 1 | jay |
| 2 | man |
| 3 | pp |
+----+------+
3 rows in set (0.00 sec)
mysql> start transaction;
mysql> insert into t_user(name) values('yy');
mysql> rollback;
mysql> select * from t_user;
+----+------+
| id | name |
+----+------+
| 1 | jay |
| 2 | man |
| 3 | pp |
+----+------+
3 rows in set (0.00 sec)
(4)事务四大特性之一:隔离性(isolation)
- 读未提交:read uncommitted
- 读已提交:read committed
- 可重复读:repeatable read
- 串行化:serializable
read uncommitted:
- 事物A和事物B,事物A未提交的数据,事物B可以读取到
- 这里读取到的数据叫做“脏数据”
- 这种隔离级别最低,这种级别一般是在理论上存在,数据库隔离级别一般都高于该级别
read committed:
- 事物A和事物B,事物A提交的数据,事物B才能读取到
- 这种隔离级别高于读未提交
- 换句话说,对方事物提交之后的数据,我当前事物才能读取到
- 这种级别可以避免“脏数据”
- 这种隔离级别会导致“不可重复读取”
- Oracle默认隔离级别
repeatable read:
- 事务A和事务B,事务A提交之后的数据,事务B读取不到
- 事务B是可重复读取数据
- 这种隔离级别高于读已提交
- 换句话说,对方提交之后的数据,我还是读取不到
- 这种隔离级别可以避免“不可重复读取”,达到可重复读取
- 比如1点和2点读到数据是同一个
- MySQL默认级别
- 虽然可以达到可重复读取,但是会导致“幻像读”
serializable:
- 事务A和事务B,事务A在操作数据库时,事务B只能排队等待
- 这种隔离级别很少使用,吞吐量太低,用户体验差
- 这种级别可以避免“幻像读”,每一次读取的都是数据库中真实存在数据,事务A与事务B串行,而不并发
(5)设置事务隔离级别
• 可以在my.ini文件中使用transaction-isolation选项来设置服务器的缺省事务隔离级别
– READ-UNCOMMITTED
– READ-COMMITTED
– REPEATABLE-READ
– SERIALIZABLE
• 例如:
[mysqld]
transaction-isolation = READ-COMMITTED
• 通过命令动态设置隔离级别
SET [GLOBAL | SESSION] TRANSACTION ISOLATION LEVEL <isolation-level>
其中的<isolation-level>可以是:
– READ UNCOMMITTED
– READ COMMITTED
– REPEATABLE READ
– SERIALIZABLE
• 例如: SET TRANSACTION ISOLATION LEVEL REPEATABLE READ;
(6)隔离级别的作用范围
• 事务隔离级别的作用范围分为两种:
– 全局级:对所有的会话有效
– 会话级:只对当前的会话有效
• 例如,设置会话级隔离级别为READ COMMITTED :
mysql> SET TRANSACTION ISOLATION LEVEL READ COMMITTED;
或:
mysql> SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;
• 设置全局级隔离级别为READ COMMITTED :
mysql> SET GLOBAL TRANSACTION ISOLATION LEVEL READ COMMITTED;
8.优化sql方式
(1)对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引
(2)建表字段时尽可能的使用 varchar 代替 char ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。
(3)任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段
(4)区分in和exists:如果是exists,那么以外层表为驱动表,先被访问,如果是IN,那么先执行子查询。所以IN适合于外表大而内表小的情况;EXISTS适合于外表小而内表大的情况
(5)使用合理的分页方式以提高分页的效率,前端页面使用懒加载数据的方式
(6)不建议使用%前缀模糊查询,例如LIKE“%name”或者LIKE“%name%”,这种查询会导致索引失效而进行全表扫描。但是可以使用LIKE “name%”
9.mysql日志
(1)错误日志(error-log):记录mysql在启动、运行和停止时出现的问题诊断分析。
(2)常规日志(general_log):记录所有mysql客户端发向mysql服务器的请求
(3)慢查询日志(slow_query_log):将执行成功并符合条件的查询记录到日志中,找到需要优化的sql,long_query_time=XX秒 (可以精确到微秒)查询超过这个值才会被记录到slowlog中,互联网行业中一般设置0.001s比较合适
(4)二进制日志(binary_log):记录全部有效的数据修改日志,基于时间点的备份和恢复,高可用架构的基础-主从复制;只能在my.cnf中配置 重启服务后生效
(5)中继日志(relay_log):用于主从复制,临时存储从主库同步的二进制日志
10.@Transactional
只能应用到 public 方法才有效。
这是因为在使用 Spring AOP 代理时,Spring 会调用 TransactionInterceptor
在目标方法执行前后进行拦截之前,DynamicAdvisedInterceptor
(CglibAopProxy
的内部类)的的 intercept
方法或 JdkDynamicAopProxy 的 invoke 方法会间接调用 AbstractFallbackTransactionAttributeSource
(Spring 通过这个类获取@Transactional
注解的事务属性配置属性信息)的 computeTransactionAttribute
方法。
@Nullable
protected TransactionAttribute computeTransactionAttribute(Method method, @Nullable Class<?> targetClass) {
//这里判断是否是public方法
if(this.allowPublicMethodsOnly() && !Modifier.isPublic(method.getModifiers())) {
return null;
}
//省略其他代码
若不是 public,就不会获取@Transactional 的属性配置信息,最终会造成不会用 TransactionInterceptor 来拦截该目标方法进行事务管理
事务失效的常见原因:
(1)@Transactional必须用在public修饰的方法上;
(2)@Transactional注解的属性rollbackFor配置错误,不指定rollbackFor时,默认只有抛出RuntimeException或者Error才会回滚,一般使用都指定回滚的异常为Exception(RuntimeException及其他异常的父类):@Transactional(rollbackFor=Exception.class);
(3)启动类或者配置类中需要添加@EnableTransactionManagement注解,开启事务;
(4)同一个类中调用事务方法,事务会失效:
@Service
public class A {
public void test1(){
test2();
}
@Transactionl(rollbackFor = Exception.calss)
public void test2(){
}
}
(5)在事务方法中捕获了异常(try catch),事务会失效;
(6)数据库引擎不支持事务(innodb支持事务,myisam不支持事务)。
事务传播类型
当方法A调用方法B,在方法B中设置的事务传播类型分为7种:
(1)REQUIRED:如果方法A没有开启事务,则B新开启事务;如果A已经开启事务,则B加入A的事务,不新开事务,Spring默认的事务传播行为;
(2)REQUIRES_NEW:不管A是否开启事务,B都新开启事务;当A开启事务,则B挂起A的事务,再单独开启新事务;
(3)SUPPORTS:A开启了事务,则B加入A的事务;A没开启,则B也不开启;
(4)NOT_SUPPORTS:如果A开启了事务,则B让A事务挂起,以非事务的方式执行B;
(5)NEVER:如果A开启了事务,则B抛出异常;如果A没开启事务,则B也不开启事务;
(6)NESTED:如果A开启了事务,则B新开启一个事务嵌套在A中;如果A没开启事务,则B新开启一个事务;
(7)MANDATORY:如果A没开启事务,则B抛出异常;如果A开启了事务,则B加入到A中。
11.B+Tree相对于B-Tree有几点不同
(1)非叶子节点只存储键值信息。
(2)所有叶子节点之间都有一个链指针。
(3)数据记录都存放在叶子节点中。
12.MVCC(多版本并发控制)机制
并发访问(读或者写)数据库时,对正在事务内处理的数据做多版本的管理,用来避免由于写操作的堵塞,而引发读操作失败的并发问题。
适用范围:
mysql数据库默认隔离级别:RR(Repeatable Read,可重复读),MVCC主要适用于Mysql的RC(Read committed),RR隔离级别,Read uncimmitted由于存在脏读,即能读到未提交事务的数据行,所以不适用MVCC,原因是MVCC的创建版本和删除版本只要在事务提交后才会产生;串行化由于是会对所涉及到的表加锁,并非行锁,自然也就不存在行的版本控制问题。
MVCC逻辑流程-插入
在MySQL中建表时,每个表都会有三列隐藏记录,其中和MVCC有关系的有两列
- 数据行的版本号 (DB_TRX_ID)
- 删除版本号 (DB_ROLL_PT)
id | test_id | DB_TRX_ID | DB_ROLL_PT |
---|---|---|---|
在插入数据的时候,假设系统的全局事务ID从1开始,以下SQL语句执行分析参考注释信息:
begin;-- 获取到全局事务ID
insert into `test_zq` (`id`, `test_id`) values('5','68');
insert into `test_zq` (`id`, `test_id`) values('6','78');
commit;-- 提交事务
复制代码
当执行完以上SQL语句之后,表格中的内容会变成:
id | test_id | DB_TRX_ID | DB_ROLL_PT |
---|---|---|---|
5 | 68 | 1 | NULL |
6 | 78 | 1 | NULL |
可以看到,插入的过程中会把全局事务ID记录到列 DB_TRX_ID 中去
MVCC逻辑流程-删除
对上述表格做删除逻辑,执行以下SQL语句(假设获取到的事务逻辑ID为 3)
begin;--获得全局事务ID = 3
delete test_zq where id = 6;
commit;
复制代码
执行完上述SQL之后数据并没有被真正删除,而是对删除版本号做改变,如下所示:
id | test_id | DB_TRX_ID | DB_ROLL_PT |
---|---|---|---|
5 | 68 | 1 | NULL |
6 | 78 | 1 | 3 |
MVCC逻辑流程-修改
修改逻辑和删除逻辑有点相似,修改数据的时候 会先复制一条当前记录行数据,同时标记这条数据的数据行版本号为当前是事务版本号,最后把原来的数据行的删除版本号标记为当前是事务。
执行以下SQL语句:
begin;-- 获取全局系统事务ID 假设为 10
update test_zq set test_id = 22 where id = 5;
commit;
复制代码
执行后表格实际数据应该是:
id | test_id | DB_TRX_ID | DB_ROLL_PT |
---|---|---|---|
5 | 68 | 1 | 10 |
6 | 78 | 1 | 3 |
5 | 22 | 10 | NULL |
MVCC逻辑流程-查询
此时,数据查询规则如下:
-
查找数据行版本号早于当前事务版本号的数据行记录
也就是说,数据行的版本号要小于或等于当前是事务的系统版本号,这样也就确保了读取到的数据是当前事务开始前已经存在的数据,或者是自身事务改变过的数据
-
查找删除版本号要么为NULL,要么大于当前事务版本号的记录
这样确保查询出来的数据行记录在事务开启之前没有被删除
根据上述规则,我们继续以上张表格为例,对此做查询操作
begin;-- 假设拿到的系统事务ID为 12
select * from test_zq;
commit;
复制代码
执行结果应该是:
id | test_id | DB_TRX_ID | DB_ROLL_PT |
---|---|---|---|
6 | 22 | 10 | NULL |