ckpt(checkpoint)机制研究

最新推荐文章于 2024-08-14 23:13:40 发布
最新推荐文章于 2024-08-14 23:13:40 发布
阅读量599 收藏 1
点赞数
文章标签： 数据库 操作系统


ckpt的作用：
1、保证数据库的一致性：
    脏数据写出到数据文件，保证内存和数据文件中的数据是一样的。
2、缩短实例恢复的时间：
     实例恢复需要把实例异常关闭前没有写出到数据文件中的脏数据通过日志进行恢复。如果需写出的脏块数量过多，实例恢复时间也会较长，ckpt可以及时写出脏块，减少内存中脏块的数量，从而加快实例恢复的时间。

 

实例展示：
session1>select * from v$version;
BANNER
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
PL/SQL Release 11.2.0.1.0 - Production
CORE    11.2.0.1.0      Production
TNS for Linux: Version 11.2.0.1.0 - Production
NLSRTL Version 11.2.0.1.0 - Production


01:40:47 session1>select * from v$logfile;
    GROUP# STATUS  TYPE    MEMBER                                   IS_
---------- ------- ------- ---------------------------------------- ---
         3         ONLINE  /u01/app/oracle/oradata/orcl/redo03.log  NO
         2         ONLINE  /u01/app/oracle/oradata/orcl/redo02.log  NO
         1         ONLINE  /u01/app/oracle/oradata/orcl/redo01.log  NO

当前log状态如下：
01:41:14 session1>select GROUP#,SEQUENCE#,MEMBERS,ARCHIVED,STATUS from v$log;
    GROUP#  SEQUENCE#    MEMBERS ARC STATUS
---------- ---------- ---------- --- ----------------
         1         43          1 NO  CURRENT
         2         41          1 YES INACTIVE
         3         42          1 YES ACTIVE
如上所示，3#log处于active状态。日志文件为active状态，表示这个文件的检查点还没有作完。而检查点没有做完的原因是dbwr执行的dirty buffer写出还没有执行完成，等待的过程就是等待将current日志中修改过的数据块信息写入到数据文件的过程。

01:41:19 session1>select actual_redo_blks from v$instance_recovery;
ACTUAL_REDO_BLKS
----------------
             244

注：ACTUAL_REDO_BLKS(Current actual number of redo blocks required for recovery)，说明有244个脏块需要写入。

01:41:25 session1>select actual_redo_blks from v$instance_recovery;
ACTUAL_REDO_BLKS
----------------
             244

01:41:28 session1>select actual_redo_blks from v$instance_recovery;
ACTUAL_REDO_BLKS
----------------
             244


01:41:31 session1>


触发checkpoint事件：
01:41:58 session1>alter system checkpoint;
System altered.

01:41:58 session1>select actual_redo_blks from v$instance_recovery;
ACTUAL_REDO_BLKS
----------------
             180

01:41:59 session1>select actual_redo_blks from v$instance_recovery;
ACTUAL_REDO_BLKS
----------------
               4

01:41:59 session1>select GROUP#,SEQUENCE#,MEMBERS,ARCHIVED,STATUS from v$log;
    GROUP#  SEQUENCE#    MEMBERS ARC STATUS
---------- ---------- ---------- --- ----------------
         1         43          1 NO  CURRENT
         2         41          1 YES INACTIVE
         3         42          1 YES INACTIVE
查看v$instance_recovery 中视图中的actual_redo_blks数量和v$log中的3#log状态，表明buffer cache中的脏块已经写完，active的状态转变为了inactive。


alert日志的相关信息如下：
Wed Nov 28 01:41:58 2012
Beginning global checkpoint up to RBA [0x2b.ea.10], SCN: 1209008
Completed checkpoint up to RBA [0x2b.ea.10], SCN: 1209008
Completed checkpoint up to RBA [0x2b.2.10], SCN: 1208924

 

检查点发生后，触发DBWn，CKPT获取发生检查点时对应的SCN，通知DBWn写到这个SCN为止。alert日志显示"SCN: 1209008"，1209008就是触发CKPT时的SCN。当checkpoint做完后，CKPT会把这个SCN更新到数据文件头上。
下面检查当前数据文件的scn号进行验证：
session1>select file#,checkpoint_change# from v$datafile;
     FILE# CHECKPOINT_CHANGE#
---------- ------------------
         1            1209008
         2            1209008
         3            1209008
         4            1209008
         5            1209008
         6            1209008
6 rows selected.

 

alert日志中"RBA [0x2b.2.10]"的0x2b表示当前的在线日志序列号，将0x2b转换为十进制：
session1>select to_number('2b','xxxx') from dual;
TO_NUMBER('2B','XXXX')
----------------------
                    43

 

检查当前日志状态：
session1>select GROUP#,SEQUENCE#,MEMBERS,ARCHIVED,STATUS from v$log;
    GROUP#  SEQUENCE#    MEMBERS ARC STATUS
---------- ---------- ---------- --- ----------------
         1         43          1 NO  CURRENT
         2         41          1 YES INACTIVE
         3         42          1 YES INACTIVE
如上所示，SEQUENCE#43为当前的在线日志。

 

转储日志，找到对应的rba:
session1>alter system dump logfile '/u01/app/oracle/oradata/orcl/redo01.log';
System altered.

session1>select value from v$diag_info where name = 'Default Trace File';
VALUE
--------------------------------------------------------------------------------
/u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_6691.trc

 

将SCN号转化为十六进制：
session2>select to_char(1209008,'xxxxxxxx') from dual
TO_CHAR(1
---------
   1272b0

 

session>!
$view /u01/app/oracle/diag/rdbms/orcl/orcl/trace/orcl_ora_6691.trc

(RBA相关内容如下，显示脏块信息)
REDO RECORD - Thread:1 RBA: 0x00002b.000000ea.0010 LEN: 0x05f0 VLD: 0x06
SCN: 0x0000.001272b0 SUBSCN:  1 11/28/2012 01:41:58   (注：SCN: 0x0000.001272b0就是由1209008转换来的)
CHANGE #1 MEDIA RECOVERY MARKER SCN:0x0000.00000000 SEQ:0 OP:23.1 ENC:0
 Block Written - afn: 6 rdba: 0x018000e8 BFT:(1024,25166056) non-BFT:(6,232)
                   scn: 0x0000.00127296 seq: 0x02 flg:0x04
 Block Written - afn: 6 rdba: 0x018000e9 BFT:(1024,25166057) non-BFT:(6,233)
                   scn: 0x0000.00127292 seq: 0x02 flg:0x04
 Block Written - afn: 6 rdba: 0x018000ea BFT:(1024,25166058) non-BFT:(6,234)
                   scn: 0x0000.00127298 seq: 0x01 flg:0x04
 Block Written - afn: 6 rdba: 0x01800002 BFT:(1024,25165826) non-BFT:(6,2)
                   scn: 0x0000.00127292 seq: 0x02 flg:0x04
 Block Written - afn: 6 rdba: 0x01800003 BFT:(1024,25165827) non-BFT:(6,3)
                   scn: 0x0000.00127292 seq: 0x01 flg:0x04
 Block Written - afn: 3 rdba: 0x00c029ec BFT:(1024,12593644) non-BFT:(3,10732)
                   scn: 0x0000.001272a6 seq: 0x03 flg:0x04
 Block Written - afn: 3 rdba: 0x00c00d0c BFT:(1024,12586252) non-BFT:(3,3340)
                   scn: 0x0000.0012727b seq: 0x1e flg:0x04
 Block Written - afn: 3 rdba: 0x00c00bf0 BFT:(1024,12585968) non-BFT:(3,3056)
                   scn: 0x0000.001272a4 seq: 0x01 flg:0x04
.....省略.....
Block Written - afn: 1 rdba: 0x004078d5 BFT:(1024,4225237) non-BFT:(1,30933)
                   scn: 0x0000.0012729c seq: 0x01 flg:0x06
 Block Written - afn: 1 rdba: 0x00406c77 BFT:(1024,4222071) non-BFT:(1,27767)
                   scn: 0x0000.0012729c seq: 0x01 flg:0x06
 Block Written - afn: 1 rdba: 0x004007e9 BFT:(1024,4196329) non-BFT:(1,2025)
                   scn: 0x0000.001272a8 seq: 0x03 flg:0x06
 Block Written - afn: 1 rdba: 0x004007d9 BFT:(1024,4196313) non-BFT:(1,2009)
                   scn: 0x0000.001272a8 seq: 0x02 flg:0x06
 Block Written - afn: 1 rdba: 0x00400121 BFT:(1024,4194593) non-BFT:(1,289)
                   scn: 0x0000.0012728f seq: 0x01 flg:0x06
 Block Written - afn: 1 rdba: 0x00400090 BFT:(1024,4194448) non-BFT:(1,144)
                   scn: 0x0000.00127298 seq: 0x01 flg:0x04

REDO RECORD - Thread:1 RBA: 0x00002b.000000ed.0030 LEN: 0x0214 VLD: 0x01
SCN: 0x0000.001272b0 SUBSCN:  1 11/28/2012 01:41:58


总结：ckpt事件会触发数据库写进程DBWR，将数据缓冲区(data buffer cache)中的脏数据块写入到数据文件中。当alter system checkpoint 命令发出，完全检查点会立刻执行。如果是在生产库，由于脏块数量比较多，完全检查点的时间会很长，并占用一定的系统资源，这时操作系统的IO会变忙。

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/9529380/viewspace-750381/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/9529380/viewspace-750381/

cuiai8257
关注
【Flink入门修炼】2-3 Flink Checkpoint 原理机制
笨鸟先飞的博客
04-25 1840
如果让你来做一个有状态流式应用的故障恢复，你会如何来做呢？ 单机和多机会遇到什么不同的问题？ Flink Checkpoint 是做什么用的？原理是什么？
PostgreSQL源码分析——CHECKPOINT
让我思考一下
06-18 733
在此之前的WAL日志，对应的Buffer中的脏页需要全部刷盘，也就是说，在此位置之前的WAL日志是不需要进行回放的，因为页已经落盘了。关于重做点，重做点其实就是当前WAL日志的插入点，或者说当前WAL日志记录的终点位置，从这个位置开始，之前的所有WAL日志对应的脏页刷盘，然后清理WAL日志，在进行checkpoint的过程中，其实业务是不停的，还会继续源源不断的产生WAL日志，后续产生的WAL日志就是从重做点开始的，而这部分WAL日志对于的脏页并没有被刷盘，所以崩溃恢复时，需要从这个重做点开始进行回放。
Linux中检查点(Checkpoint)的核心支持——ckpt文件系统的设计.pdf
09-07
Linux中检查点(Checkpoint)的核心支持——ckpt文件系统的设计.pdf
【笔记】tf 三种模型保存格式总结 checkpoint(*.ckpt)
nyist_yangguang的博客
12-06 4881
1.checkpoint(*.ckpt) 1.1文件结构介绍： ---checkpoint ---model.ckpt-240000.data-00000-of-00001 ---model.ckpt-240000.index ---model.ckpt-240000.meta 如图所示，Tensorflow模型主要包括两个方面内容：1）神经网络的结构图graph；2）已训练好的变量参数。 因此Tensorflow模型主要包含两个文件： 1）元数据图（meta graph）： 它保存了t..
深入解析CKPT：数据库一致性背后的关键进程
最新发布
zgt_certificate的博客
08-14 426
检查点是一种数据库事件，当数据库服务器发出检查点时，系统改变号（SCN, System Change Number）会被写入数据库文件和控制文件，同时将数据库高速缓冲区中的脏缓冲区写入数据文件，这时数据库达到了完全一致的状态。当数据库服务器发出检查点时，数据库服务器会确保数据文件、控制文件和重做日志文件中的SCN是一致的，从而保证事务的一致性。命令，强制触发一个检查点。举例：在正常关闭数据库时，CKPT进程会确保所有的脏数据被刷新到磁盘，并且更新数据库文件和控制文件的SCN值，从而确保数据库的一致性。
[zt]Oracle检查点ckpt (checkpoint)
cuixie2370的博客
12-31 165
由于Oracle中LGWR和DBWR工作的不一致，Oracle引入了检查点的概念，用于同步数据库，保证数据库的一致性。在Oracle里面，检查点分为两种：完全检查点和增量检查点。下面我们分别介绍这两种检查点的作用： 1、 完全...
ckpt的工作机制
xabc3000的专栏
09-21 1万+
检查点是一个数据库事件，它把修改数据从高速缓存写入磁盘，并更新控制文件和数据文件。 检查点分为三类： 1）局部检查点：单个实例执行数据库所有数据文件的一个检查点操作，属于此实例的全部脏缓存区写入数据文件。 触发命令： svmrgrl>alter system checkpoint local; 这条命令显示的触发一个局部检查点。 2）全局检查点：所有实例（对应并行数据服务器）执行数
【无标题】检查点进程(CKPT)的作用
2201_75855893的博客
02-07 385
Oracle 设计检查点机制的唯一目的是为了执行实例恢复。 在一个新的检查点进程开始时，CKPT 会把新产生的检查点信息 SCN 号等写入控制文件，然后等待完全检查点的到来（三秒钟结束的时间点），在完全检查点时，CKPT 会触发数据库写进程 DBWn负责把当前三秒钟之内凡是已提交的数据块从高速缓冲区写入到数据文件。DBWn 在执行之前，首先触发一次日志写(LGWR), 以确保写入数据文件的数据块所对应的重做条目都已持久记录到重做日志文件中。在 DBWn 执行完成之后，也就是把当前三秒钟之内所有已提交数据块都
ckpt.t7资源ckpt.rar
07-12
首先，"ckpt.t7"是 Torch 框架下的模型检查点（checkpoint）文件，Torch 是一个流行的开源机器学习库，广泛用于研究和开发。这种文件格式包含了模型在训练过程中学到的所有权重和偏置，它们是神经网络的精髓，记录了...
Tensorflow: 从checkpoint文件中读取tensor（checkpoint.ckpt)
wuguangbin1230的博客
01-18 6794
在使用pre-train model时候，我们需要restore variables from checkpoint files.  经常出现在checkpoint 中找不到”Tensor name not found”.  1. 这时候需要查看一下ckpt中到底有哪些变量 import os from tensorflow.python import pywrap_tensorflow c...
【CVPR 2020】StarGan V2预训练模型wing.ckpt
03-04
【CVPR 2020】StarGan V2预训练模型wing.ckpt
触发CKPT(checkpoint)进程的几个条件
cyxlxp8411的专栏
03-08 1387
ORACLE触发CHECKPOINT的条件   1.当发生日志组切换的时候 2.当符合LOG_CHECKPOINT_TIMEOUT，LOG_CHECKPOINT_INTERVAL，fast_start_io_target,fast_start_mttr_target参数设置的时候 3.当运行ALTER SYSTEM SWITCH LOGFILE的时候 4.当运行ALTER SYSTEM
CKPT的工作机制
还不算晕的专栏
09-07 2861
checkpoint的目的 减少数据库实例恢复的时间;让内存中的脏数据及时的写到磁盘上;在安全关闭数据库时，保证所有提交的数据被写到磁盘上。 ckpt进程本身只完成两件工作： 1，执行检查点和更新控制文件和数据文件 2，将脏缓存块写入数据文件的任务交给DBWR进程完成 CKPT发送CHECKPOINT信号的触发条件： 1. log_checkpoint_timeout时间达到 2
Oracle DBWR,LGWR,CKPT,ARCH 触发条件 总结
热门推荐
David Dai -- Focus on Oracle
06-29 2万+
一.  DBWR写磁盘数据触发条件       1. 当进程在辅助LRU链表和主LRU链表上扫描以查找可以覆盖的buffer header[空闲缓冲区]时，如果已经扫描的buffer header的数量到达一定的限度（由隐藏参数：_db_block_max_scan_pct决定）时，触发DBWR进程。  _db_block_max_scan_pct表示已经扫描的buffer header
AI训练Checkpoint对存储的影响
存储随笔
06-17 1671
同时，模型参数的数量直接影响到检查点文件的大小。读取器的数量（即同时读取检查点文件的进程数量）取决于数据并行的程度——如果数据并行度高，即有更多的GPU参与，可能就需要更多的读取器来加速状态恢复过程。数据并行训练中的效率考虑：在数据并行的设置下，由于所有GPU上运行的是模型的相同副本，只需保存一个GPU上的模型实例即可，无需为每个GPU都保存一份完整的内存状态。顺序读取检查点文件：通常情况下，检查点文件是按顺序读取的，这意味着恢复过程会逐一处理这些文件，以确保模型和优化器的状态得到完整且正确的重建。
AI专业教您保姆级在暗影精灵8Windows11上本地部署实现AI绘画：Stable Diffusion（万字教程，多图预警）
YIBO0408的博客
12-03 1万+
本博客适用于零基础小白以及刚入门AI绘画的小伙伴，历时半个月制作，全网最细万字教程，多图预警带你一步步部署AI绘画！！！
TensorFlow官方文档保存检查点（checkpoint）
macair123的博客
02-28 1万+
保存检查点（checkpoint）艾伯特（http://www.aibbt.com/）国内第一家人工智能门户为了得到可以用来后续恢复模型以进一步训练或评估的检查点文件（checkpoint file），我们实例化一个tf.train.Saver。saver = tf.train.Saver()在训练循环中，将定期调用saver.save()方法，向训练文件夹中写入包含了当前所有可训练变量值得检查点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值