增量checkpoint（转）

最新推荐文章于 2024-02-26 13:28:50 发布
最新推荐文章于 2024-02-26 13:28:50 发布
阅读量409 收藏
点赞数
文章标签： 数据库 php

发布者：马齿苋

增量checkpoint


增量checkpoint工作过程

因为每次完全的checkpoint都需要把buffer cache所有的脏块都写入到数据文件中，这样就是产生一个很大的IO消耗，频繁的完全checkpoint操作很对系统的性能有很大的影响，为此Oracle引入的增量checkpoint的概念，buffer cache中的脏块将会按照BCQ队列的顺序持续不断的被写入到磁盘当中，同时CKPT进程将会每3秒中检查DBWn的写入进度并将相应的RBA信息记录到控制文件中。

有了增量checkpoint之后在进行实例恢复的时候就不需要再从崩溃前的那个完全checkpoint开始应用重做日志了，只需要从控制文件中记录的RBA开始进行恢复操作，这样能节省恢复的时间。


发生增量checkpoint的先决条件

  • 恢复需求设定（FAST_START_IO_TARGET/FAST_START_MTTR_TARGET）
  • LOG_checkpoint_INTERVAL参数值
  • LOG_checkpoint_TIMEOUT参数值
  • 最小的日志文件大小
  • buffer cache中的脏块的数量


增量checkpoint的特点

  • 增量checkpoint是一个持续活动的checkpoint。
  • 没有checkpoint RBA，因为这个checkpoint是一直都在进行的，所以不存在normal checkpoint里面涉及的checkpoint RBA的概念。
  • checkpoint advanced in memory only
  • 增量checkpoint所完成的RBA信息被记录在控制文件中。
  • 增量checkpoint可以减少实例恢复时间。


增量checkpoint相关参数设置

log_checkpoint_interval 设定两次checkpoint之间重做日志块（重做日志块和系统数据块是一样的）数，当重做日志块数量达到设定值的时候将触发checkpoint。 log_checkpoint_timeout 设定两次checkpoint之间的间隔时间，当超时值达到时增量checkpoint将被触发。Oracle建议不用这个参数来控制，因为事务（transaction）大小不是按时间等量分布的。将此值设置成0时将禁用此项设置。 fast_start_io_target 因为log_checkpoint_interval主要看的时候重做日志块的数量，并不能反应buffer cache中脏数据块的修改，因此Oracle又引入了这个参数来实现当脏数据块达到一定数量的时候触发checkpoint，不过此参数实际上控制的是恢复时所需IO的数量。 fast_start_mttr_target
  • 此参数是在9i中引入用来代替前面的三个参数的，它定义了数据块崩溃后所需要的实例恢复的时间，Oracle在实际上内在的解释成两个参数:fast_start_io_target和log_checkpoint_interval.如果这两个参数没有显式的指定,计算值将生效.。
  • fast_start_mttr_target可以设定的最大值是3600，即一个小时。它的最小值没有设限，但是并不是说可以设置一个任意小的值，这个值会受最小dirty buffer（最小为1000）的限制，同时还会受初始化时间以及文件打开时间的限制。
  • 在设置此参数的时候要综合考虑系统的IO，容量以及CPU等信息，要在系统性能和故障恢复时间之间做好平衡。
  • 将此参数设置成0时将禁用 fast-start checkpointing，这样能见效系统负载但同时会增加系统的恢复时间。
  • 如果fast_start_io_target or log_checkpoint_interval被指定，他们会自动覆盖由fast_start_mttr_target参数计算出来的值。

在10g中，数据库能根据各种系统参数的设置值来自动调整检查点的执行频率，以获得最好的恢复时间以及系统的正常运行影响最小。通过自动checkpoint调整，Orach能在系统低IO操作的时候将脏块写入到数据文件中，因此即时DBA没有设置checkpoint相关的参数值或是设置了一个不合理的值的时候系统还是能获得一个很合理的系统恢复时间。

10g中的增量checkpoint更能体现它持续活动的特点，在10g中，增量checkpoint不是在某一个特定的条件下触发，而是由数据库根据系统参数设置自动触发。


与完全checkpoint的区别

  • 完全checkpoint会将checkpoint的信息写入到控制文件以及数据文件头中
  • 增量checkpoint只会将RBA信息写入到控制文件中。


查看系统的checkpoint动作

我们可以通过将LOG_checkpointS_TO_ALERT设置成TRUE来打开checkpoint的trace，这样就可以跟踪checkpoint的操作了。

ALTER SYSTEM SET LOG_checkpointS_TO_ALERT=TRUE;

这设置以后系统的checkpoint将会被记录alert_$SID.log文件中。

在V$DATAFILE_HEADER里面也保存了发生完全checkpoint的时候一些相关信息，包括checkpoint发生时间、对应SCN已经checkpoint的次数。

select file# NO, status, tablespace_name, name, dbms_flashback.get_system_change_number CUR_SCN,to_char（resetlogs_time, 'YYYY-MM-DD HH24:MI:SS'） RST_DT, resetlogs_change# RST_SCN,to_char（checkpoint_time, 'YYYY-MM-DD HH24:MI:SS'） CKPT_DT,checkpoint_change# CKPT_SCN, checkpoint_count CKPT_CNTfrom v$datafile_header;


完全检查点

-- 我们先执行一个ALTER SYSTEM checkpoint;

-- 下面是alert文件中的数据结果Mon Aug 4 22:22:08 2008Beginning global checkpoint up to RBA[0x8.c9d4.10], SCN: 533714Completed checkpoint up to RBA [0x8.c9d4.10], SCN: 533714-- 我们能看到完全checkpoint发生的SCN 533714

-- 下面我们再对照下V$DATAFILE_HEADER中的结果NO STATUS TABLESPACE_NAME CUR_SCN RST_DT RST_SCN CKPT_DT CKPT_SCN CKPT_CNT
--- ------- ---------------- -------- ------------------- -------- ------------------- --------- ---------1 ONLINE SYSTEM 533790 2008-01-12 16:51:53 446075 2008-08-04 22:22:08533714 662 ONLINE UNDOTBS1 533790 2008-01-12 16:51:53 446075 2008-08-0422:22:08 533714 293 ONLINE SYSAUX 533790 2008-01-12 16:51:53 446075 2008-08-04 22:22:08 533714 664 ONLINE USERS 533790 2008-01-12 16:51:53446075 2008-08-04 22:22:08 533714 655 ONLINE EXAMPLE 533790 2008-01-1216:51:53 446075 2008-08-04 22:22:08 533714 25

-- 看到了么，checkpoint时间和checkpoint的SCN已经被记录到数据文件头中了。


日志切换时的检查点

-- 我们先做一次日志切换ALTER SYSTEM SWITCH LOGFILE;

-- 然后看看alert里面的记录Mon Aug 4 22:31:39 2008Beginning log switch checkpoint up to RBA[0x9.2.10], SCN: 534450Thread 1 advanced to log sequence 9Current log# 2 seq# 9 mem# 0: /u/app/oracle/oradata/orcl/redo02.logMon Aug 4 22:35:58 2008Completed checkpoint up toRBA [0x9.2.10], SCN: 534450

-- 我们能看到checkpoint是在过了一段时间（这里是4分钟）之后才完成的

-- 接着我们来看下V$DATAFILE_HEADER中的结果NO STATUS TABLESPACE_NAME CUR_SCN RST_DT RST_SCN CKPT_DT CKPT_SCN CKPT_CNT
--- ------- ---------------- -------- ------------------- -------- ------------------- --------- ---------1 ONLINE SYSTEM 534770 2008-01-12 16:51:53 446075 2008-08-04 22:31:44534450 672 ONLINE UNDOTBS1 534770 2008-01-12 16:51:53 446075 2008-08-0422:31:44 534450 303 ONLINE SYSAUX 534770 2008-01-12 16:51:53 446075 2008-08-04 22:31:44 534450 674 ONLINE USERS 534770 2008-01-12 16:51:53446075 2008-08-04 22:31:44 534450 665 ONLINE EXAMPLE 534770 2008-01-1216:51:53 446075 2008-08-04 22:31:44 534450 26

-- 在这里我们能发现下V$DATAFILE_HEADER里面记录的SCN和日志切换发生的checkpoint的SCN是一样的，-- 这就证明了日志切换是会更新数据文件头的，同时日志切换的checkpoint是一个级别比较低的操作，-- 它不会立即完成，这也是出于性能上考虑的。


增量checkpoint查看

当前所知只有在LOG_checkpoint_TIMEOUT设置了非0值之后触发的增量checkpoint会在alert文件中有记录，其他条件触发的增量checkpoint都不会记录在alert文件中。

-- 下面是当LOG_checkpoint_TIMEOUT设置为1800s的时候所产生的增量checkpoint记录
Sun Aug 3 19:08:56 2008
Incremental checkpoint up to RBA [0x8.e17.0], current log tail at RBA [0x8.1056.0]
Sun Aug 3 19:39:00 2008
Incremental checkpoint up to RBA [0x8.1be0.0], current log tail at RBA [0x8.1c6e.0]
Sun Aug 3 20:09:04 2008
Incremental checkpoint up to RBA [0x8.2af5.0], current log tail at RBA [0x8.2b6a.0]
Sun Aug 3 20:39:07 2008
Incremental checkpoint up to RBA [0x8.3798.0], current log tail at RBA [0x8.3851.0]
Sun Aug 3 21:09:10 2008
Incremental checkpoint up to RBA [0x8.47b9.0], current log tail at RBA [0x8.48bb.0]
Sun Aug 3 21:39:14 2008
Incremental checkpoint up to RBA [0x8.548d.0], current log tail at RBA [0x8.5522.0]
Mon Aug 4 21:05:18 2008

查看fast_start_mttr_target

通过查看V$INSTANCE_RECOVERY动态性能视图可以查看一些MTTR相关的信息。

SELECT TARGET_MTTR,ESTIMATED_MTTR,CKPT_BLOCK_WRITES,CKPT_BLOCK_WRITES FROM V$INSTANCE_RECOVERY

TARGET_MTTR 用户设置的参数FAST_START_MTTR_TARGET的值. ESTIMATED_MTTR 根据目前脏块数目和日志块数目,评估的现在进行恢复所需要的时间. CKPT_BLOCK_WRITES 检查点写完的块数目. CKPT_BLOCK_WRITES 额外的因为检查点引起的数据库写入操作（因为不必要的检查点的产生,设置一个非常小的系统恢复时间将会对性能产生负面影响,为了帮助管理员监测这个参数设置较小时对数据库的影响,这个视图显示了这个列）


相关视图


V$视图

V$DATAFILE_HEADER 查看数据文件的完全checkpoint信息。 V$INSTANCE_RECOVERY 查看fast_start_mttr_target设置以及系统MTTR相关信息。


X$视图

X$BH 用于查看脏块的LRBA和HRBA（There is also a recovery RBA which is used to record the progress of partial block recovery by PMON.） 。 X$TARGETRBA 查看增量checkpoint RBA，target RBA和on-disk RBA。 X$KCCCP 这里面也有增量checkpoint RBA，target RBA的信息。 X$KCCRT 完全checkpoint（full thread checkpoint）RBA信息。


补充说明

写完这篇文章之后又看了写在itpub上的讨论，更新下观点。(http://www.itpub.net/viewthread.php?tid=1053847)

关于增量checkpoint和完全的checkpoint的区别这方面的争论里来不少，特别是对于日志切换到底是增量还是完全的争论更是如此，但是其实翻遍Oracle的文档就没有发现有提到增量checkpoint(incremental checkpoint)或是完全checkpoint(full checkpoint)这两个概念。

我的观点是根本就没有必要可以的区分是增量还是完全，真正要理解的是不同情况下的checkpoint都会有些什么样的行为，然后根据这些行为来对数据库进行配置，设置相应的参数，制定相应的备份/恢复策略，就此而已。
下面列出写常见的checkpoint行为：

  1. 类似于alter system checkpoint这样的语句所产生的，先记录下当前的scn，然后推动DBWn进程去写脏数据，当写到所记录的scn时候检查点结束，然后ckpt进程将记录的scn写入到控制文件和数据文件头。
  2. 设置参数log_checkpoint_timeout之后产生的，在超时值达到的时候，ckpt进程记录当时DBWn写脏数据的进度，也就是写到那个scn了，此时检查点信息只记录到控制文件中，同时如果设置了LOG_checkpointS_TO_ALERT的话我们会在alert中得到这样的信息：

    Sun Aug 3 19:08:56 2008
    Incremental checkpoint up to RBA [0x8.e17.0], current log tail at RBA [0x8.1056.0]

  3. ckpt进程每3s起来一次记录checkpoint的进度到控制文件中，这种情况跟上面的类似，只不过在alert里面是看不到的，而且也不是每次唤醒都会写控制文件的，而是有就记，没有就拉倒。
  4. 类似于alter system switch logfile所产生的，先记录下发出命令时刻的scn，ckpt进程不会推动DBWn去写脏数据，而是让DBWn按照自己的状态去写脏数据，等到写到记录的scn时，chpt进程再去更新控制文件和数据文件头。这种情况在alert也能看到信息：

    Mon Aug 4 22:31:39 2008
    Beginning log switch checkpoint up to RBA [0x9.2.10], SCN: 534450
    Thread 1 advanced to log sequence 9
    Current log# 2 seq# 9 mem# 0: /u/app/oracle/oradata/orcl/redo02.log
    Mon Aug 4 22:35:58 2008
    Completed checkpoint up to RBA [0x9.2.10], SCN: 534450


参考文档

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/18914315/viewspace-740891/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/18914315/viewspace-740891/

cuizuchang3379
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Flink 管理大型状态之增量 Checkpoint 详解
http://www.54tianzhisheng.cn/
11-05 1315
邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。作者：Stefan Ricther & Chris Ward翻译：邱从贤（山智）Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过...
Flink Checkpoint 中的通用增量Checkpoint
枪枪枪的博客
02-16 513
通用增量Checkpoint
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
Ververica的博客
05-26 1718
Generic Log-Based Incremental Checkpointing 功能介绍
Flink增量Checkpoint实验
微电子学与固体电子学-俞驰
10-01 2620
根据[1]: '''这里面的核心就是 checkpoint 机制，Flink 使用 checkpoint 机制来进行状态保证，在 Flink 中 checkpoint 是一个定时触发的全局异步快照，并持久化到持久存储系统上（通常是分布式文件系统）。发生故障后，Flink 选择从最近的一个快照进行恢复。有用户的作业状态达到 GB 甚至 TB 级别，对这么大的作业状态做一次 checkpoint 会非常耗时，耗资源，因此我们在 Flink 1.3 中引入了增量 checkpoint 机制。 在增量 chec
Flink 增量式checkpoint 介绍
weixin_33726318的博客
11-08 2864
2019独角兽企业重金招聘Python工程师标准>>> ...
基于 Log 的通用增量 Checkpoint.pdf
03-21
基于 Log 的通用增量Checkpoint 本文讨论了基于 Log 的通用增量Checkpoint，主要介绍了Checkpoint的性能优化之路、Changelog机制解析和Checkpoint性能测试等内容。Checkpoint是分布式系统中的一种重要机制，用于...
俞航翔｜基于Log的通用增量Checkpoint.pdf
01-25
俞航翔｜基于Log的通用增量Checkpoint.pdf
Oracle checkpoint 检查点详解
05-20
Checkpoint 分为完全检查点（Normal checkpoint）和增量检查点（Incremental checkpoint）两种。完全检查点是指将所有脏块写入到硬盘，增量检查点是指将部分脏块写入到硬盘。 在了解 Checkpoint 工作原理之前，需要...
flink 关于checkpoint 疑虑 1
08-04
4. **使用增量检查点**：如果Flink版本支持，可以开启增量检查点，这会降低单次检查点所需的状态大小，因为它只保存自上次成功检查点以来的更改。 5. **调整窗口大小**：考虑是否可以调整窗口的大小或触发器策略，...
virtnbdbackup:通过NBD进行Libvirt Qemu增量备份
03-27
创建虚拟机的完整备份和增量备份。 工作正在进行中 .. 先决条件 显然，libvirt / qemu版本支持增量备份功能。 （centos8高级虚拟化流中的libvirt 6.x确实具有必需的功能）。 要从流中安装libvirt，请使用： yum ...
Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化
Direction_Wind的博客
02-20 1611
第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。
【数据库管理】⑧检查点checkpoint
u011868279的博客
04-03 3538
【数据库管理】⑧检查点checkpoint
【Flink】高效稳定的通用增量 Checkpoint 详解之二：性能分析评估
最新发布
九师兄
02-26 70
开启通用增量 Checkpoint 可以显著提高 Checkpoint 的完成速度和稳定性，并以可控的性能与资源开销为作业提供更低的端到端延迟、更少的数据回追和更平稳的资源消耗。在 Flink 1.16 后，通用增量 Checkpoint 已经达到了生产可用的状态。后续版本中，在实现机制上，我们将重点关注其他可用的 DSTL 存储组件，如 Apache Bookkeeper，来实现更短的延迟；
Incremental checkpoint up to RBA
clare0807的博客
08-30 395
..[@more@]alter_TEST.log 有如下信息:Incremental checkpoint up to RBA [0x18.ae60a.0], current log tail at RBA [0x18.ae97...
Flink（四十）—— Apache Flink 管理大型状态之增量 Checkpoint 详解
weixin_42073629的博客
10-21 1529
Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种记录模式 保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计 保存当前的模型参数，用于进行模型训练 有状态的流计算框架必须有很好的容错性，才能在生产环境中发挥用处。这里的容错性是指，不管是发生硬件故障，还是程序异常，最终的结果不丢也不重。 Flink 的容错性从一开始就是一个非常强大的特性，
空0019
Direction_Wind的博客
01-06 3688
19。
【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决
马路上开飞机
03-31 6595
背景 一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。 正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。 实际观察到，checkpoint大小持续缓慢增长，运行20天以后，从最初了100M左右，增长到了2G，checkpoi
【Flink】RocksDB增量模式checkpoint大小持续增长的问题及解决
九师兄
06-24 2517
转载：RocksDB增量模式checkpoint大小持续增长的问题及解决Flink版本：1.13.5一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。实际观察到，checkpoint大
flink如何实现增量checkpoint
01-12
Flink 可以通过使用增量式 checkpoint 来实现增量 checkpoint。增量式 checkpoint 只对当前 checkpoint 之后的数据进行保存，而不是像全量 checkpoint 那样保存整个流的数据。这样做的优点是可以大大减少 checkpoint...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值