日志系统：更新语句是如何执行的

最新推荐文章于 2024-05-29 11:03:14 发布
最新推荐文章于 2024-05-29 11:03:14 发布
阅读量481 收藏
点赞数
分类专栏： MySQL实战45讲拾遗 文章标签： dba mysql java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43415753/article/details/122203379
版权

日志系统：更新语句是如何执行的

总的来说，更新语句同样要走查询语句的那套流程，不同之处在于，更新语句执行多了两个重要的日志模块：redo log（重做日志）、binlog（归档日志）

update T as t set t.c = t.c + 1 where t.id = 1

更新语句执行步骤：

  1. 先在表T中查找id = 1的一行数据
  2. 在内存中将c字段修改为c+1后
  3. 将c+1传递给执行器，由执行器将c+1写入磁盘，这个过程会再经历一次查询操作

redo log重做日志

请添加图片描述

重做日志的作用在于：节省了第三步操作的执行时间，近似认为，更新语句的效率由于redo log的存在提升了一倍！

需要注意的点是：

  1. redo log存在存在于磁盘上，断电不丢失数据，因此，redo log保证了就算数据库异常重启，仍然不会丢失数据。这个能力称为crash-safe。
  2. 由图可知，redo log是类似循环数组的数据结构。write pos表示当前日志数据尾部，check point则表示当前数据头部。当write pos与check point重合的时候，就是redo log不得不暂停一切更新，将redo log中的记录写到数据库磁盘上的时候了。
  3. 特别要注意的是，redo log属于Innode引擎独有的日志系统，而下面要讲的binlog属于Server层的日志系统，是所有引擎都可以使用的日志系统。

深入一点：

想想看，redo log由于可以长时间存在并替代磁盘上的数据，即无论是查询、修改、删除，都可以使用redo log。所以redo log必须是幂等的，最好是基于数据页Page的，也就是说：

一条redo log记录了某个Page最新的数据，当Innodb引擎查到某个Page时，会立即与redo log做比对，发现redo log上有这个Page，则将redo log上的数据Page返回给执行器。

下面是原评论：

redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 层实现的，所有引擎都可以使用。redo log 是物理日志，记录的是“在某个数据页上做了什么修改”；binlog 是逻辑日志，记录的是这个语句的原始逻辑，比如“给 ID=2 这一行的 c 字段加 1 ”。redo log 是循环写的，空间固定会用完；binlog 是可以追加写入的。“追加写”是指 binlog 文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。有了对这两个日志的概念性理解，我们再来看执行器和 InnoDB 引擎在执行这个简单的 update 语句时的内部流程。执行器先找引擎取 ID=2 这一行。ID 是主键，引擎直接用树搜索找到这一行。如果 ID=2 这一行所在的数据页本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。执行器拿到引擎给的行数据，把这个值加上 1，比如原来是 N，现在就是 N+1，得到新的一行数据，再调用引擎接口写入这行新数据。引擎将这行新数据更新到内存中，同时将这个更新操作记录到 redo log 里面，此时 redo log 处于 prepare 状态。然后告知执行器执行完成了，随时可以提交事务。执行器生成这个操作的 binlog，并把 binlog 写入磁盘。执行器调用引擎的提交事务接口，引擎把刚刚写入的 redo log 改成提交（commit）状态，更新完成。这里我给出这个 update 语句的执行流程图，图中浅色框表示是在 InnoDB 内部执行的，深色框表示是在执行器中执行的。update 语句执行流程你可能注意到了，最后三步看上去有点“绕”，将 redo log 的写入拆成了两个步骤：prepare 和 commit，这就是"两阶段提交"。两阶段提交为什么必须有“两阶段提交”呢？这是为了让两份日志之间的逻辑一致。要说明这个问题，我们得从文章开头的那个问题说起：怎样让数据库恢复到半个月内任意一秒的状态？前面我们说过了，binlog 会记录所有的逻辑操作，并且是采用“追加写”的形式。如果你的 DBA 承诺说半个月内可以恢复，那么备份系统中一定会保存最近半个月的所有 binlog，同时系统会定期做整库备份。这里的“定期”取决于系统的重要性，可以是一天一备，也可以是一周一备。当需要恢复到指定的某一秒时，

binlog归档日志

https://www.cnblogs.com/softidea/p/12624778.html

首先要考虑的是，为什么有了redo log日志还需要binlog

  1. redo log是循环写的，也就是说它大小有限，用完即止。
    binlog是追加写的，如果管理员不设置，那么binlog会占满你的磁盘。

  2. redo log是Innodb特有的日志。
    binlog是Server层实现，所有引擎共有。

  3. redo log具有crash-safe能力。
    binlog不具有。
    为什么说binlog不具有crash-safe能力呢？
    本质上还是https://www.wolai.com/kQXZwbwChtYpEd8ZvmVFjh#tsx19FoGQW2y7A8PPVxi21这里提到的原因
    https://blog.csdn.net/weixin_43698257/article/details/110676515
    举个栗子，binlog 记录了两条日志：
    给 ID=2 这一行的 c 字段加1
    给 ID=2 这一行的 c 字段加1
    在记录1刷盘后，记录2未刷盘时，数据库 crash。重启后，只通过 binlog 数据库无法判断这两条记录哪条已经写入磁盘，哪条没有写入磁盘，不管是两条都恢复至内存，还是都不恢复，对 ID=2 这行数据来说，都不对。
    但 redo log 不一样，只要刷入磁盘的数据，都会从 redo log 中抹掉，数据库重启后，直接把 redo log 中的数据都恢复至内存就可以了。这就是为什么 redo log 具有 crash-safe 的能力，而 binlog 不具备。

    根据 redo log 和 binlog 的两阶段提交，未持久化的数据分为几种情况：

    1. change buffer 写入，redo log 虽然做了 fsync 但未 commit，binlog 未 fsync 到磁盘，这部分数据丢失。
    2. change buffer 写入，redo log fsync 未 commit，binlog 已经 fsync 到磁盘，先从 binlog 恢复 redo log，再从 redo log 恢复 change buffer。
    3. change buffer 写入，redo log 和 binlog 都已经 fsync，直接从 redo log 里恢复。
      有关change buffer的内容，后续介绍TODO

  4. redo log 记录的是数据页Page上的真实数据。
    binlog记录的是数据逻辑，binlog的row、statement、mixed模式记录的都不是磁盘上真实的数据格式，而仅仅是人可读的数据变化逻辑。
    深入地说：
    如果redo log足够大，是可以直接通过redo log恢复数据的。
    但是仅仅只有binlog则不行，binlog+某一时间的数据全量备份 = 任意时间的数据

两阶段提交

请添加图片描述

为什么需要两阶段提交？

为了保证跨系统数据一致性，最常用的方案就是两阶段提交。应用场景举例：redis缓存与数据库的数据一致性。

在上述过程的任意阶段均可能发生异常重启，下面分析一下两阶段提交如何保证数据一致性：

  1. 在写redo log之前异常
    写入的数据无效，重启后恢复到该语句执行之前的数据状态
  2. redo log处于prepare 后 到 提交事务之前发生异常
    由于redo log状态不是commit，所以重启后redo log的这次修改被废弃
  3. 一般我们认为，写binlog和提交事务之间，不会发生异常，一旦发生，还是会产生数据不一致的问题

一直在说数据不一致问题，那么数据不一致的问题如何产生的呢？如果不采用两阶段提交，而仅仅单独写入redo log 与 binlog，那么通过redo log 与 binlog恢复的数据会不一致，这就叫数据不一致。

下面这篇文章详细介绍了两阶段提交与三阶段提交的规范描述：

https://segmentfault.com/a/1190000012534071

根据这篇文章，结合上述redo log 日志与binlog日志两阶段提交谈谈我的认识：

  • 第一步：投票
    投票即各部分** 各自执行自己的事务**，在协调者发布执行命令后自身进入阻塞状态，参与者开始执行事务但不提交，在提交事务的前一步阻塞，并发送信息告诉协调者，我已执行完毕且无异常，等你发布提交命令。
  • 第二步：事务提交
    协调者在收到所有参与者执行完毕的回复后，再次向全部参与者发送提交事务的命令，参与者在收到此命令后，提交事务。

上述过程存在三个缺陷，尤其是第三点导致两阶段提交也不能一定保证跨系统数据一致性：

  1. **阻塞过程太久。**协调者在第一次发布指令后必须等待全部参与者执行完(提交前一步)事务后才继续运行。参与者也必须等待其他参与者都执行完任务后协调者发布提交命令后才能继续运行。
  2. 单点问题。协调者在系统中处于至关重要的位置，一旦协调者异常，整个系统都将无法运行。
  3. 数据不一致问题。比方协调者在收到全部参与者执行完毕可以提交的回复后，发送的提交事务指令，部分参与者没有收到，或者收到了正准备执行提交操作的时候突然断电了。表现在上面redo log与binlog提交上，就是倒数第二步“写binlog”与倒数第一步“提交事务处于commit状态”之间发生异常的情况。

为了解决上面的问题，提出超时回滚与互询机制。

  • 超时回滚：协调者在指定时间内，若没有收到全部参与者的响应，则向所有参与者发送rollback信息
  • 互询：参与者A在发送“我已执行完任务，随时可以提交”的信息后，指定时间后，若没有收到协调者的响应，则立即向其他参与者B询问该执行commit还是rollback，询问B时，若B的状态在Ready之前，则完全可以认为事务已经rollback；若B状态为Commit，则自己执行Commit；若B状态为Ready，则向其他参与者询问。除非全部参与者都处于Ready状态，否则系统不会长时间阻塞。
左修缘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一条update更新语句是如何执行的
MrHuang
04-06 1847
在平时我们使用数据库，看到的通常都是一个整体。比如，你有个最简单的表，表里只有一个ID字段，在执行下面这个查询语句时： mysql> select * from T where ID=10； 我们看到的只是输入一条语句，返回一个结果，却不知道这条语句在MySQL内部的执行过程。 所以今天我想和你一起把MySQL拆解一下，看看里面都有哪些“零件”，希望借由这个拆解过程，让你对MySQ...
02.日志系统：一条SQL更新语句是如何执行的？.pdf
03-17
我希望这个专栏能够帮助这样的一些开发者：他们正在使用MySQL，知道如何写出逻辑 正确的SQL语句来实现业务目标，却不确定这个语句是不是最优的；他们听说了一些使用数据库 的最佳实践，但是更想了解为什么这么做；...
一条SQL更新语句是如何执行的
weixin_47678667的博客
05-16 170
一条SQL更新语句是如何执行的一.先来执行一个更新语句二.两个重要的日志redo log,binlog日志三.一条更新语句是如何执行的四.两阶段提交的意义 一.先来执行一个更新语句 create table T(ID int primary key, c int); insert into T value(1,1); update T set c=c+1 where ID=1; 一个表上有更新的时候，跟这个表有关的查询缓存会失效，所以这条语句就会把表 T 上所有缓存结果都清空。这也就是我们一般不建议使用查
sql更新语句的执行流程
胖胖的博客
07-26 459
与执行查询语句不同的是，更新流程中有两个重要的日志模块redolog(重做日志)和binlog(归档日志)。
3.3k Star！实用命令行工具，自动生成更新日志文件
osfront的博客
10-27 349
【导语】：基于 Git 历史记录自动生成日志变更文件。 简介 git-cliff 可用正常提交记录以及基于正则的自定义解析，从 Git 历史记录生成 changelog 文件，变更日志模板可以使用配置文件进行定制，以匹配所需的格式。 类似的项目还有： git-journal - Git 提交消息和变更日志生成框架 clog-cli - 从 Git 提交历史生成漂亮的变更日志 relnotes - 为项目自动生成发行说明的工具 cocogitto - 用于常规提交和 semver 规范的 CLI 工具
MySQL数据库：SQL语句的执行过程
热门推荐
张维鹏的博客
02-28 2万+
一、客户端的MySQL驱动： 我们的系统在和 MySQL 数据库进行通信前，需要先和数据库建立连接，而这个功能就是由MySQL驱动底层帮我们完成的，建立完连接之后，我们只需要发送 SQL 语句就可以执行 CRUD 了。如下图所示： 一次 SQL 请求就会建立一个连接，多个请求就会建立多个连接。假设我们的系统是部署在 tomcat 容器中的，tomcat 是可以并发处理多个请求的，这就会导致多个请求会去建立多个连接，然后使用完再都去关闭，这样会有什么问题呢？Java系统在通过 MySQL 驱动 和 .
日志系统：一条SQL更新语句是如何执行的？&&阅读笔记
weixin_44233929的博客
06-10 2248
阅读完文章后，自己的一些小记录。原文 前言 一条更新语句的执行流程与查询流程类似 一条SQL查询语句是如何执行的 与查询流程不一样的是，更新流程还涉及两个重要的日志模块：redo log（重做日志）和binlog(归档日志) redo log 记账例子： 酒店掌柜有一个粉板，专门用来记录客人的赊账记录。如果赊账的人不多，那么他可以把顾客名和账目写在板上。但如果赊账的人多了，粉板总会有记不下的时候，这个时候掌柜一定还有一个专门记录赊账的账本。 如果有人要赊账或者还账的话，掌柜一般有两种做法： 一种做法.
【数据库】讨论MySQL日志系统中的更新语句的执行
明月沉江春雾晓
05-19 2380
在MySQL中有六种日志文件 分别是：重做日志（redo log）、回滚日志（undo log）、二进制日志（binlog）、错误日志（errorlog）、慢查询日志（slow query log）、一般查询日志（general log），中继日志（relay log）。 其中重做日志，回滚日志和二进制日志与事务操作相关。要想深入理解MySQL的事务，对这三种日志的理解，必不可少。 重做日志...
MySQL中：一条update语句是怎样执行的
田埂、の技术博客
03-11 4568
上一篇文章说完MySQL的事务和锁了，这次来详细介绍一下在MySQL中一条更新语句的详细执行流程 (本文无特殊说明均是采用Innodb存储引擎)。 前期准备 首先创建一张表，然后插入三条数据： CREATE TABLE T( ID int(11) NOT NULL AUTO_INCREMENT, c int(11) NOT NULL, PRIMARY KEY (ID) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='测试表'; INSERT INTO T(
《MySQL实战45讲》读后感 02|日志系统：一条SQL更新语句如何执行的
hl_java的专栏
11-23 4456
收获到的知识点 当一个表有更新的时候，跟这个表相关的所有缓存都会失效，所以这条语句就会把表T上所有缓存结果清空。（MySQL8.*版本已去掉了查询缓存模块） MySQL中的2种日志类型分别是 redo log(重做日志) 和 binlog（归档日志） 之所以存在这2种类型的日志（redo log、binlog），是由于最开始MySQL里并没有InnoDB引擎的，MySQL自带的引擎是MyISA...
面试必备：一条sql语句的执行过程
纵横的博客
04-14 3935
先上图片简单了解一下 放大招、慢慢观看 SQL语句执行过程详解 一条sql，plsql的执行到底是怎样执行的呢？ 一、SQL语句执行原理： 第一步:客户端把语句发给服务器端执行 当我们在客户端执行 select 语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的 进程来处理这语句。也就是说,Oracle 客户端是不会做任何的操作,他的主要任务就是把客户端产生 的一些 SQL 语句发...
SQL语句到底是如何执行的
12-14
曾经看到过一个案例：一个政府机构性质的项目，由于该机构每天下午5点左右下班，第二天早上9点上班，在这期间，系统无人使用，机构工作人员上班后登陆系统，发现系统异常，开发人员查询日志后发现数据库连接异常。...
MySQL日志系统，一条SQL跟新语句是如何执行的，高清
04-29
讲的是MySQL的日志系统，比较清楚，希望对你有点用，分数好像调不了。
Spring mvc mybatis plus 实现AOP 切面日志系统
12-19
Spring mvc mybatis plus 实现AOP 切面日志系统，带有数据库。可以自行拓展
【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程
最新发布
几度热忱的博客
05-29 654
【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程 RLHF训练的三个步骤 步骤1：收集数据与有监督训练策略 步骤2：收集数据训练奖励模型 步骤3：结合奖励模型利用强化学习算法如PPO算法来优化策略 参考内容
mysql实战——mysql主从复制管理
zyjzyjjyzjyz的博客
05-28 583
一、常见的管理操作1、查看主库状态2、查看从库复制的状态3、在主库上查看从库ip和端口信息。
【Java面试】四、MySQL篇（上）
llg___的博客
05-27 952
如果去维护一个类似二叉树的结构，再查age=45的数据，则直接从根节点开始⇒ 45 > 36，去右侧 ⇒ 45 < 48 ⇒去左侧 ⇒ 查找完毕，如此，查找效率提升，这即索引的思想。是覆盖索引，虽然select * ，但其where是根据id过滤的，即用的是主键索引、聚簇索引，索引的叶子节点存了整行数据，需要返回的字段，在索引中能够全部找到。给name字段加了非聚簇索引，因此，执行如上SQL，先根据name的非聚簇索引的B+树 ⇒ A小于L，走左边，到G和J，再走左边，找到Arm ⇒ 因为是。
mysql存储地理信息的方法
m0_72958694的博客
05-27 476
mysql存储地理信息的方法详细教程。
MySQL导入SQL脚本---超详细介绍
qq_38382365的博客
05-27 271
3.执行mysql -uroot -p123456 --default-character-set=utf8命令。需要注意的是--default-character-set=utf8，要不然可能会有报错。2.在mysql安装目录下cmd进入小黑窗。1.新建xxx数据库，字符集选对。执行完上面的命令等待结束就可以了。
springboot中获取系统执行过的sql语句
09-18
### 回答1： 在 SpringBoot 中，可以通过配置日志级别来获取系统执行过的 SQL 语句。具体实现步骤如下： 1. 打开 application.properties 或 application.yml 配置文件，添加以下配置： ``` logging.level.org.hibernate.SQL=debug logging.level.org.hibernate.type.descriptor.sql.BasicBinder=trace ``` 2. 重启项目，执行 SQL 语句。 3. 在控制台或日志文件中查看输出信息，就可以看到系统执行的 SQL 语句了。 注意：以上配置只是一个示例，具体的 SQL 日志输出方式可能会因为使用的数据库框架或日志框架而有所不同。 ### 回答2： 在Spring Boot中可以通过配置来获取系统执行过的SQL语句。具体步骤如下： 1. 首先，在Spring Boot的配置文件（例如application.properties或application.yml）中配置以下属性： ``` spring.jpa.show-sql=true spring.jpa.properties.hibernate.format_sql=true ``` 2. 设置spring.jpa.show-sql为true，表示开启显示SQL语句。这样在系统执行JPA操作时，会在控制台输出相应的SQL语句。 3. 设置spring.jpa.properties.hibernate.format_sql为true，表示格式化显示SQL语句。这样输出的SQL语句会更容易阅读和理解。 4. 重新启动应用程序，当应用程序执行JPA操作时，控制台会打印出相应的SQL语句，包括执行的查询语句、插入语句、更新语句等等。 需要注意的是，以上配置只适用于使用JPA作为持久化框架的情况。如果应用程序使用其他持久化框架（例如Hibernate）或者使用原生的JDBC进行数据库操作，需要根据具体框架的配置方式进行相应的调整。 ### 回答3： 在Spring Boot中获取系统执行过的SQL语句，可以通过配置数据库连接池的属性来实现。具体步骤如下： 1. 添加依赖：在pom.xml文件中添加如下依赖： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <dependency> <groupId>net.ttddyy</groupId> <artifactId>datasource-proxy</artifactId> <version>1.7</version> </dependency> ``` 这里使用了datasource-proxy库来拦截SQL语句。 2. 配置数据源：在application.properties或application.yml中配置数据源，例如： ```properties spring.datasource.url=jdbc:mysql://localhost:3306/test?useSSL=false spring.datasource.username=root spring.datasource.password=123456 ``` 3. 配置代理数据源：创建一个配置类，例如： ```java @Configuration public class DataSourceConfig { @Bean @Primary public DataSource dataSource() { ProxyDataSource proxyDataSource = new ProxyDataSource(); proxyDataSource.setDataSource(createActualDataSource()); proxyDataSource.setListener(new MyQueryExecutionListener()); return proxyDataSource; } private DataSource createActualDataSource() { // 创建真实的DataSource并返回 // 例如：return new HikariDataSource(); } private class MyQueryExecutionListener extends AbstractQueryExecutionListener { @Override public void beforeQuery(ExecutionInfo execInfo, List<QueryInfo> queryInfoList) { // 在执行SQL语句之前的操作 } @Override public void afterQuery(ExecutionInfo execInfo, List<QueryInfo> queryInfoList) { // 在执行SQL语句之后的操作 for(QueryInfo queryInfo : queryInfoList) { String sql = queryInfo.getQuery(); // 对执行过的SQL语句进行处理 } } } } ``` 通过以上配置，我们创建了一个代理数据源，其中设置了一个自定义的QueryExecutionListener，当程序执行SQL语句时，该监听器会拦截并将执行过的SQL语句传递给afterQuery方法进行处理。 最后，就可以在程序中通过注入DataSource，并在需要的地方使用它来执行SQL语句，同时也能获取到系统执行过的SQL语句。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值