MySQL lock_open锁_MySQL锁机制/管理(并发锁,行锁,表锁,预加锁,全局锁等等)

最新推荐文章于 2024-08-23 20:00:57 发布
最新推荐文章于 2024-08-23 20:00:57 发布
阅读量432 收藏
点赞数
文章标签： MySQL lock_open锁
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39790686/article/details/113431477
版权

2.在语句执行中表的生命周期

DML(Data Manipulation Language)：

计算语句使用到的所有表

在每个表：打开open表 — 从table cache缓存里得到TABLE对象，并在此表加上meta-data元数据锁

等待全局读锁后改变数据

在每个表：锁lock表 — 在表加上table-level数据锁

执行语句：调用：handler::write_row()/read_rnd()/read_index()，等；隐式地调用引擎级engine-level锁机制

在每个表：释放表的数据锁

在每个表：释放表的DDL锁并把表放回table cache缓存里

DDL语句也是一样，没有典型的执行计划。

3.获取meta-data元数据锁

meta-data元数据锁的实现作为TABLE对象的一个属性，TABLE对象代表了table cache缓存。

meta-data元数据锁为如下任何一种：

shared共享锁 — 隐式地加锁，只通过标记TABLE对象“被使用”；

semi-exclusive半独享锁，也叫Name Lock，RENAME操作会在源表和目标加上此锁；

exclusive独享，也叫exclusive name lock，CREATE TABLE … SELECT操作会在目标表上加上此锁，如果没有的话。

4.表缓存(table cache)

是一个HASH变量，叫open_cache

TABLE对象是HASH元素

以HASH的操作被LOCK_open mutex互斥量保护

4.1内部结构(The table cache: internal structure)

在缓存里，每个物理表可能被多个TABLE实例表示

相同表的所有TABLE实例，通过相连的列(a linked list)连接着

每个TABLE实例有一个table cache缓存版本的复制 — TABLE实例保存的版本不会和当前table cache缓存版本一致，而是保存旧的和从缓存删除的

被某些语句使用的TABLE实例被会标记为对其它的语句来说是无效的 — 这就是meta-data元数据锁的本质

在缓存中的TABLE实例通常地有一个有效的句柄实例连接着它

4.2内部运算(The table cache: operations)

主要的代码在：sql/sql_base.cc，sql/lock.cc，sql/table.h，sql/sql_table.cc

主要的方法：open_table()，close_thread_tables()，close_cached_table()，lock_table_names()

事实上，一个概念/对象组合不仅用于缓存或锁定：LOCK_open mutex互斥量也用到其它的操作，如：使磁盘上和处理中的表创建的原子性

典型的操作，来自隔离等级Pov的重要(注：isolation PoV没研究出是什么意思)：语句查询时，打开和关闭表 — shared共享锁；强制和等待直到表的所有实例被关闭 —  exclusive独享(但不完全)；Name Lock — 特殊地情况，当手上没有TABLE实例，只能使用一个特殊的占位符(甚至表可能不存在)。

4.4锁多表(The table cache: locking multiple tables)

使用一种尝试和回退(try and back-off)的技术来避免死锁(乐观锁)

为了DDL操作的一套诀窍，如使锁升级或者防止DDL失效

LOCK_open问题

Lock_open互斥量：

保护table cache缓存内的结构

分组存储引擎内的表和对象的.frm文件的创建，也为RENAME操作提供原子性操作

在每个语句访问表时会使用它两次：在open_tables()和close_thread_tables()

在使用DDL操作时，磁盘读写和甚至同步(sync)都会使用它

5.ALTER TABLE例子

ALTER TABLE执行的简化计划：

以TL_WRITE_ALLOW_READ的打开和加锁表(新版 InnoDB Plugin已改为：TL-READ-NO-INSERT)

创建一个以临时名字的被ALTER的复制表

强制并等待直到表的所有实例都关闭(锁升级)

交换新和旧的版本

删除旧的版本

这是一般情况，当然还有优化的情况。

A debug trace for ALTER TABLE

T@8: | query: alter table t1 add column k int

T@8: | >mysql_parse

T@8: | | >mysql_execute_command

T@8: | | | >mysql_alter_table

T@8: | | | | >open_ltable

T@8: | | | | | >open_table

T@8: | | | | |

T@8: | | | | | >mysql_lock_tables

T@8: | | | | | | >get_lock_data

T@8: | | | | | | | >ha_innobase::store_lock

T@8: | | | | | | | <:store_lock>

T@8: | | | | | |

T@8: | | | | | | >lock_external

T@8: | | | | | | | >ha_innobase::external_lock

T@8: | | | | | | | | enter: lock_type: 1

T@8: | | | | | | | | >trans_register_ha

T@8: | | | | | | | | | enter: stmt

T@8: | | | | | | | |

T@8: | | | | | | | <:external_lock>

T@8: | | | | | |

T@8: | | | | | | >thr_multi_lock

T@8: | | | | | | | >thr_lock

T@8: | | | | | | |

T@8: | | | | | |

T@8: | | | | |

T@8: | | | |

T@8: | | | | >mysql_create_table

T@8: | | | |

T@8: | | | | >open_temporary_table

T@8: | | | | | >openfrm

T@8: | | | | | | >handler::ha_open

T@8: | | | | | | | enter: name: ./test/#sql-3081_1 db_type: 12 db_stat: 7 mode: 2 lock_test: 2

T@8: | | | | | | | >ha_innobase::open

T@8: | | | | | | | <:open>

T@8: | | | | | | <:ha_open>

T@8: | | | | |

T@8: | | | |

T@8: | | | | >copy_data_between_tables

T@8: | | | |

T@8: | | | | >closefrm

T@8: | | | |

T@8: | | | | >close_cached_table

T@8: | | | | | enter: table: t1

T@8: | | | | | >wait_while_table_is_used

T@8: | | | | | | >get_lock_data

T@8: | | | | | |

T@8: | | | | | | >thr_abort_locks

T@8: | | | | | |

T@8: | | | | | | >remove_table_from_cache

T@8: | | | | | | | enter: Table: ‘test.t1′ flags: 2

T@8: | | | | | |

T@8: | | | | |

T@8: | | | | | >mysql_unlock_tables

T@8: | | | | | | >thr_multi_unlock

T@8: | | | | | | | lock: data: 0x8b7f9b0 count: 1

T@8: | | | | | | | >thr_unlock

T@8: | | | | | | |

T@8: | | | | | |

T@8: | | | | | | >unlock_external

T@8: | | | | | | | >ha_innobase::external_lock

T@8: | | | | | | | <:external_lock>

T@8: | | | | | |

T@8: | | | | |

T@8: | | | | | >unlink_open_table

T@8: | | | | | | >hash_delete

T@8: | | | | | | | >free_cache_entry

T@8: | | | | | | | | >closefrm

T@8: | | | | | | | | | >ha_innobase::close

T@8: | | | | | | | | | <:close>

T@8: | | | | | | | |

T@8: | | | | | | |

T@8: | | | | | |

T@8: | | | | |

T@8: | | | |

T@8: | | | | >mysql_rename_table

T@8: | | | | | >ha_innobase::rename_table

T@8: | | | | | <:rename_table>

T@8: | | | |

T@8: | | | | >mysql_rename_table

T@8: | | | | | >ha_innobase::rename_table

T@8: | | | | | <:rename_table>

T@8: | | | |

T@8: | | | | >my_delete

T@8: | | | | | my: name ./test/#sql2-3081-1.frm MyFlags 0

T@8: | | | |

T@8: | | | | >ha_delete_table

T@8: | | | | | >ha_innobase::delete_table

T@8: | | | | | <:delete_table>

T@8: | | | |

T@8: | | | | >ha_commit_trans T@8: | | | | ha_commit_trans T@8: | | | |

T@8: | |

T@8: |

T@8:

6.RENAME TABLE例子

得到源表和目的表的name-lock锁：在table cache缓存内插入特殊的TABLE实例的占位符并等待直到这些表的所有实例都关闭

重命名这些表的.frm文件和调用handler::rename_table()方法

删除name-lock锁

在整个解析过程中，都使用LOCK_open

Simplified debug trace for RENAME TABLE

T@10: | query: rename table t1 to t2

T@10: | >mysql_parse

T@10: | | >mysql_execute_command

T@10: | | | >mysql_rename_tables

T@10: | | | | >lock_table_names

T@10: | | | | | >lock_table_name

T@10: | | | | | | enter: db: test name: t1

T@10: | | | | |

T@10: | | | | | >remove_table_from_cache

T@10: | | | | | | enter: Table: ‘test.t1′ flags: 0

T@10: | | | | | | >hash_delete

T@10: | | | | | | | >free_cache_entry

T@10: | | | | | | | | >closefrm

T@10: | | | | | | | | | >ha_innobase::close

T@10: | | | | | | | | | <:close>

T@10: | | | | | | | |

T@10: | | | | | | |

T@10: | | | | | |

T@10: | | | | |

T@10: | | | | | >lock_table_name

T@10: | | | | | | enter: db: test name: t2

T@10: | | | | |

T@10: | | | | | >remove_table_from_cache

T@10: | | | | | | enter: Table: ‘test.t2′ flags: 0

T@10: | | | | |

T@10: | | | |

T@10: | | | | >rename_tables

T@10: | | | | | >do_rename

T@10: | | | | | | >mysql_rename_table

T@10: | | | | | | | >ha_innobase::rename_table

T@10: | | | | | | | <:rename_table>

T@10: | | | | | | | >my_rename

T@10: | | | | | | | | my: from ./test/t1.frm to ./test/t2.frm MyFlags 16

T@10: | | | | | | |

T@10: | | | | | |

T@10: | | | | |

T@10: | | | |

T@10: | | | | >unlock_table_names

T@10: | | | | | >unlock_table_name

T@10: | | | | | | >hash_delete

T@10: | | | | | | | >free_cache_entry

T@10: | | | | | | |

T@10: | | | | | |

T@10: | | | | |

T@10: | | | | | >unlock_table_name

T@10: | | | | | | >hash_delete

T@10: | | | | | | | >free_cache_entry

T@10: | | | | | | |

T@10: | | | | | |

T@10: | | | | |

T@10: | | | |

T@10: | | |

T@10: | |

T@10: |

7.表级table-level锁

主要源代码见：sql/lock.cc，mysys/thr_lock.cc。mysql_lock/unlock_tables()(SQL层操作)和thr_multi_lock()/thr_lock()(锁兼容逻辑lock-compatibility logic)

表是以打开着被加锁的。被加锁的对象被句柄关联着；存储引擎会调整锁的类型。如innodb/bdb，事实上大量的对象被加锁的，如merge/partition，见handler::store_lock()方法。

使用锁等级避免死锁。所有表一次性加锁；如果存储引擎调整锁造成死锁，由存储引擎负责

在一些情况下，表会更早地被解锁

8 .预加锁(pre-locking)

历史上避免死锁方案用于表级table-level数据锁，是要求一次性加锁一个语句内的所有表

因此，对语句使用的函数/触发，我们不得不打开所有直接地或间接地用到的表，且对它们加锁。为这个，我们建立一个被使用表的可传送闭包

为了有效实现，我们混合层次和访问(layers and access)成某些解析/语句上下文(parser/statement context)，这些上下文来自主要处理表的模板

9.全局读锁(global read lock)

实现为FLUSH TABLES WITH READ LOCK，用来备份

从执行上防止DDL和DML

建议：每个DDL/DML语句检查是否有一个正挂着的全局读锁和停止是否有任何一个。

通过直接调用wait_if_global_read_lock()(在这个情况我们会设置来自全局读锁的保护，且只有调用start_waiting_global_read_lock()来消除这个保护，通常在这情况下没有打开的表)；

或者通过mysql_lock_tables()(在后一种情况下，我们还重新打开表)

线程操作FLUSH TABLES WITH READ LOCK来设置一个全局读锁的标识，初始一个FLUSH TABLES语句，然后等待直到所有的表缓存都清空

weixin_39790686
关注
mysql data_locks_MySQL数据结构分析—THR_LOCK
weixin_42508058的博客
01-27 873
目的MySQL多线程锁数据结构THR_LOCK，是支撑MySQL层锁的基础结构，也是MySQL与存储引擎层在锁控制上的衔接结构。对于多线程的锁控制，直接关系到数据库的并发问题。本文将分析MySQL在多线程锁数据结构的设计和实现，以便于进一步深入了解MySQL层以及存储引擎层的锁。数据结构MySQL多线程锁的数据结构，在include/thr_lock.h和mysys/thr_lock.c源码文件中...
mysql中锁Name_locked为0_Mysql 图解锁机制
weixin_34608787的博客
02-03 2372
MySQL 锁机制MySQL锁: 锁是计算机协调多个进程或线程并发访问某一资源的机制. 在数据库中, 数据是一种供许多用户共享的资源. 因此需要借助锁来解决数据并发访问的一致性、有效性MySQL锁的分类:从对数据操作的类型分: 读锁、写锁读锁(共享锁): 针对同一份数据, 多个读操作可以同时进行而不会相互影响写锁(排他锁): 当前写操作没有完成前, 它会阻断其他写锁和读锁从对数据操作的粒度分: 表...
mysql 杀锁脚本
08-13
mysql数据库在查询量大的情况下，有出现死锁状况，有时候死锁导致服务挂了的情况，这脚本就能很好的管理mysql死锁进程。
mysql data_locks_mysql8 参考手册--InnoDB INFORMATION_SCHEMA事务和锁定信息
weixin_36448199的博客
01-20 1914
本节描述了性能模式data_locks和 data_lock_waits表所公开的锁定信息，这些信息取代了MySQL 8.0中的INFORMATION_SCHEMA INNODB_LOCKS和 INNODB_LOCK_WAITS表。一个INFORMATION_SCHEMA表和两个Performance Schema表使您可以监视 InnoDB事务并诊断潜在的锁定问题：1、INNODB_TRX：此 ...
MySQL的数据锁表（data_locks 表）
jkzyx123的博客
01-25 2366
MySQL的数据锁表（data_locks 表）信息详解
mysql data_locks_Mysql事物与Metadata lock 问题
weixin_28752743的博客
01-27 512
环境说明：MySQL 5.6.16OS:Linux RedHat 6.2 64bit1.问题描述目前新上一个使用MySQL数据库项目，在数据库中，每隔5分钟做truncate某个表操作，经常出现metadata lock锁等待，导致后面的对这个表的所有操作(包括读)全部metadata lock等待。严重影响了数据库运行。且metadata lock锁等待不同于普通的行级锁，等待超时时间默认为36...
浅析MySQL的表锁和行锁机制
m0_71777195的博客
11-05 660
1 InnoDB 支持表锁和行锁，使用索引作为检索条件修改数据时采用行锁，否则采用表锁。2 InnoDB 自动给修改操作加锁，给查询操作不自动加锁 3 行锁可能因为未使用索引而升级为表锁，所以除了检查索引是否创建的同时，也需要通过explain执行计划查询索引是否被实际使用。4 行锁相对于表锁来说，优势在于高并发场景下表现更突出，毕竟锁的粒度小。5 当表的大部分数据需要被修改，或者是多表复杂关联查询时，建议使用表锁优于行锁。6 为了保证数据的一致完整性，任何一个数据库都存在锁定机制。
mysql 行锁转换为表锁_[转]MySQL 表锁和行锁机制
weixin_36428079的博客
01-27 1314
MySQL 表锁和行锁机制行锁变表锁，是福还是坑？如果你不清楚MySQL加锁的原理，你会被它整的很惨！不知坑在何方？没事，我来给你们标记几个坑。遇到了可别乱踩。通过本章内容，带你学习MySQL的行锁，表锁，两种锁的优缺点，行锁变表锁的原因，以及开发中需要注意的事项。还在等啥？经验等你来拿！MySQL的存储引擎是从MyISAM到InnoDB，锁从表锁到行锁。后者的出现从某种程度上是弥补前者的不足。比...
MySQL高级 锁机制
12-20
MySQL的锁机制是数据库管理系统中用于控制并发操作的重要机制，对于多用户环境下的数据一致性、事务隔离性和系统性能有着至关重要的影响。本文将深入探讨MySQL的高级锁机制，包括表锁和行锁，并提供一些优化建议。 ...
MySQL数据库锁介绍
热门推荐
LeoChen的专栏
10-27 1万+
MySQL数据库锁介绍 1. 锁的基本概念 当并发事务同时访问一个资源时，有可能导致数据不一致，因此需要一种机制来将数据访问顺序化，以保证数据库数据的一致性。 锁就是其中的一种机制。 我们可以用商场的试衣间来做个比喻。商场里得每个试衣间都可供多个消费者使用，因此可能出现多个消费者同时试衣服需要使用试衣间。为了避免冲突，试衣间装了锁，某一个试衣服的人在试衣间里把锁锁住了，其他顾客就不能再从外
Mysql 锁
zhoushimiao1990的博客
09-28 644
部分内容摘录自博客:正确的理解MySQL中让你想到就烦的各种锁 (一) 锁分类： 1、按照操作粒度划分： 表级锁： 每次操作锁住整张表。锁定粒度大，发生锁冲突的概率最高，并发度最低 行级锁：每次操作锁住一行数据。锁定粒度最小，发生锁冲突概率最低，并发度最高 记录锁（RECORD）：锁定单个行记录（索引记录），普通认知上的行锁（RR、RC隔离级别） 间隙锁（GAP）：锁定索引记录间隙，确保索引记录间隙不变（RR 隔离级别） 临键锁（NEXT-KEY）：记录锁和间隙锁的组合，锁住数据的同时..
MYSQL锁的探索
sanylove的博客
10-24 1248
更高版本的mysql，在范围查找，就会继续往后找存在的记录，也就是会找到 id = 16 这一行停下来，然后加 next-key lock (8, 16]，但由于 id = 16 不满足 id < 9，所以会退化成间隙锁，加锁范围变为 (8, 16)，所以会话 1 这时候主键索引的锁是记录锁 id=8 和间隙锁(8, 16）2.然后因为是非唯一索引，且查询的记录是存在的，所以还会加上间隙锁，规则是向下遍历到第一个不符合条件的值才能停止，因此间隙锁的范围是(8,16)update ... set ....;
mysql locks
weixin_34405925的博客
11-17 95
http://makble.com/understanding-locks-in-mysql
mysql 数据库locked
refuil的博客
03-14 514
命令行直接SQL： SHOW PROCESSLIST SHOW OPEN TABLES WHERE In_use &gt; 0; 查询运行时间较长的pid，杀掉 KILL 476432 SHOW PROCESSLIST 查找最终原因，可能是数据量过大，请求时间过长。 ...
mysql5.7 锁简介（全局锁，表锁，行锁，间隙锁）
shaofei_huai的博客
07-25 1955
全局锁 对整个数据库实例加锁，一般用于全库逻辑备份。myisam不支持事务做备份时会用到，innodb做备份可以用mysqldump --single-transcation进行备份保持数据一致性。 开启全局锁：Flush tables with read/write lock; 解锁：unlock tables; 表级锁 表级锁分为表锁和元数据锁（meta data lock）简称MDL。表锁一般是在数据库引擎不支持行锁的时候才会被...
Mysql——锁（2）
Alex_cf的博客
12-19 132
行锁
就这一次，带你彻底搞清 MySQL行级锁的加锁规则
weixin_50205273的博客
11-12 2234
是不是很多人都对 MySQL 加行级锁的规则搞的迷迷糊糊，一会是 next-key 锁，一会是间隙锁，一会又是记录锁。 坦白说，确实还挺复杂的，但是好在我找点了点规律，也知道如何如何用命令分析加了什么类型的行级锁。 之前我写过一篇关于「MySQL 是怎么加行级锁的？」的文章，随着我写 MySQL 锁相关的文章越来越多时，后来发现当时的文章写的不够详细。 为了让大家很清楚的知道 MySQL 是怎么加行级锁的，以及如何用命令分析加了什么行级锁，所以我重写了这篇文章。
MySQL数据库锁机制（全面讲解）
最新发布
程序员阿龙的博客
08-23 1413
在这个数据驱动的时代，数据库的重要性不言而喻。尤其是当我们面对成千上万的用户同时操作数据库时，如何保证数据不会乱套，这就得聊聊MySQL的锁机制了。锁，听起来好像有点神秘，但其实它就像是数据库的一道安全门，接下来，我会和大家一起探讨一下MySQL数据库锁的点点滴滴，包括它是怎么工作的，有哪些类型，以及在实际应用中怎么用。你能对数据库锁有个更清晰的了解，以后遇到并发问题也能更从容应对。那么，让我们开始吧！
mysql锁相关
batman
02-18 853
文章目录概述全局锁表级锁表锁元数据锁（ meta data lock， MDL）意向锁行级锁 概述 介绍 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。 分类 MySQL中的锁，按照锁的粒度分，分为以下三类： 全局锁：.
MySQL MDL锁深度解析与问题分析
"MYSQL元数据锁(MDL LOCK)：MDL锁...MDL锁是MySQL并发控制的重要组成部分，对于理解和优化数据库性能至关重要。深入理解MDL锁的工作原理，以及如何在遇到问题时进行排查和解决，是每个数据库管理员和开发者的必备技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值