oracle ogg checkpoint,关于Oracle GoldenGate中Extract的checkpoint的理解

最新推荐文章于 2021-04-13 18:24:57 发布
最新推荐文章于 2021-04-13 18:24:57 发布
阅读量336 收藏
点赞数
文章标签： oracle ogg checkpoint

什么是checkpoint？

在Oracle 数据库中checkpoint的意思是将内存中的脏数据强制写入到磁盘的事件,其作用是保持内存中的数据与磁盘上的数据一致。SCN是用来描述该事件发生的准确的时间点。

而GoldenGate中出现的checkpoint有着不同的含义。简单的说就是position，位置的意思。它记录了Extract进程在抽取事务时的进度。

使用INFO showch 命令可以查看当前正在运行的Extract进程中所记录的checkpoint。

当GoldenGate被计划内或者是计划外中断了，为了保证事务的连续性我们从哪里续传呢？答案是：哪里中断，哪里继续。在一个繁忙的数据库中用时间戳来衡量OGG抽取进度是不准确的，因为任何一个时间点都有可能截断了正在处理中的事务。准确的记录的方法是参考该事物在发起时所在trail文件的字节位置(RBA)。

startup checkpoint:

Extract进程启动时的信息，用多个参数描述了一个确切的时间点。包括thread,sequence,timestamp,RBA,SCN,redo log

sequence表示redo log、或者archive log的序列号。

RBA表示改时间点处于该sequence号日志文件中的字节地址。

SCN表示Oracle内部时钟

recovery checkpoint:

到目前为止还没结束的并且耗时最长的事务信息。包括thread,sequence,timestamp,RBA,SCN,redo log。

如果源端的抽取进程中断了，那么断点续传的位置就是这里了。

current checkpoint:

当前正在读取的事务信息。包括thread,sequence,timestamp,RBA,SCN,redo log

write checkpoint：

当前正在写入的trail文件信息。包括队列号(sequence),RBA,时间戳，队列文件

sequence表示trail文件的序号，有别于数据库中的同名概念。例如：trail文件ex000001的sequence为1

RBA表示当前信息在trail文件中的位置，有别于数据库中事务日志的RBA。通常这个RBA的数值等于当前正在写的trail文件的大小。

可以通过ls -al ./dirdat/ex000001来查看该文件的字节数来对比write checkpoint的RBA

下面通过一个屏幕输出来对应一下刚才提到的概念。在实验开始时，还需要再次执行该命令来获取最新的检查点信息。

查看抽取进程ex1的检查点：

GGSCI (node3) 9> info ex1 showch

EXTRACT    EX1       Last Started 2014-11-03 13:23   Status RUNNING<< 进程开始抽取事务的时间，ADD EXTRACT之后就生效了

Checkpoint Lag       00:00:03 (updated 00:00:07 ago)

Log Read Checkpoint  Oracle Redo Logs

2014-11-03 15:13:04  Thread 1, Seqno 21, RBA 26012672<< 2个节点的RAC就有2个Checkpoint

SCN 0.1614343 (1614343)

Log Read Checkpoint  Oracle Redo Logs

2014-11-03 15:13:02  Thread 2, Seqno 29, RBA 6584832

SCN 0.1614345 (1614345)

Current Checkpoint Detail:

Read Checkpoint #1<< 抽取进程的读检查点 节点1

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):

Thread #: 1

Sequence #: 11

RBA: 6084096

Timestamp: 2014-11-02 17:41:26.000000

SCN: Not available

Redo File:

Recovery Checkpoint是我们续传时关注的位置

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):

Thread #: 1

Sequence #: 21<< 所在队列序号

RBA: 26012176<< 所在队列中的具体位置

Timestamp: 2014-11-03 15:13:04.000000<< 事务发起的时间戳

SCN: 0.1614343 (1614343)

Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Current Checkpoint (position of last record read in the data source):

Thread #: 1

Sequence #: 21

RBA: 26012672

Timestamp: 2014-11-03 15:13:04.000000

SCN: 0.1614343 (1614343)

Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Read Checkpoint #2<< 抽取进程的读检查点 节点2

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):

Thread #: 2

Sequence #: 11

RBA: 4263936

Timestamp: 2014-11-02 17:41:26.000000

SCN: Not available

Redo File:

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):

Thread #: 2

Sequence #: 29

RBA: 6584336

Timestamp: 2014-11-03 15:13:02.000000

SCN: 0.1614345 (1614345)

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Current Checkpoint (position of last record read in the data source):

Thread #: 2

Sequence #: 29

RBA: 6584832

Timestamp: 2014-11-03 15:13:02.000000

SCN: 0.1614345 (1614345)

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Write Checkpoint #1

GGS Log Trail

Current Checkpoint (current write position):

Sequence #: 47

RBA: 1124760

Timestamp: 2014-11-03 15:13:07.093886

Extract Trail: /goldengate/dirdat/ex

CSN state information:

CRC: E4-D6-3B-B4

CSN: Not available

Header:

Version = 2

Record Source = A

Type = 11

# Input Checkpoints = 2

# Output Checkpoints = 1

File Information:

Block Size = 2048

Max Blocks = 100

Record Length = 4096

Current Offset = 0

Configuration:

Data Source = 3

Transaction Integrity = 1

Task Type = 0

Status:

Start Time = 2014-11-03 13:23:05

Last Update Time = 2014-11-03 15:13:07

Stop Status = A

Last Result = 0

当前源端有100万条记录

SYS@PROD2 > select count(*) from snow.t1;

COUNT(*)

----------

1000000

系统时间为2014-11-03 15:37:08

SYS@PROD2 > alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss';

Session altered.

SYS@PROD2 > select sysdate from dual;

SYSDATE

-------------------

2014-11-03 15:37:08

源端插入一条新数据，不提交

SYS@PROD2 > insert into snow.t1 values(1000001,'Snow');

1 row created.

SYS@PROD2 >

关闭源端所有Extract进程

GGSCI (node3) 4> stop *

Sending STOP request to EXTRACT DP1 ...

Request processed.

Sending STOP request to EXTRACT EX1 ...

Request processed.

观察最新的checkpoint信息

GGSCI (node3) 14> info ex1 showch

EXTRACT    EX1       Last Started 2014-11-03 15:41   Status RUNNING

Checkpoint Lag       00:00:02 (updated 00:00:01 ago)

Log Read Checkpoint  Oracle Redo Logs

2014-11-03 15:41:48  Thread 1, Seqno 21, RBA 27887616

SCN 0.1620285 (1620285)

Log Read Checkpoint  Oracle Redo Logs

2014-11-03 15:41:46  Thread 2, Seqno 29, RBA 7889920

SCN 0.1620284 (1620284)

Current Checkpoint Detail:

Read Checkpoint #1

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):

Thread #: 1

Sequence #: 21

RBA: 27644432

Timestamp: 2014-11-03 15:39:18.000000

SCN: Not available

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):

Thread #: 1

Sequence #:21

RBA:27887120

Timestamp: 2014-11-03 15:41:48.000000

SCN: 0.1620285 (1620285)

Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Current Checkpoint (position of last record read in the data source):

Thread #: 1

Sequence #: 21

RBA: 27887616

Timestamp: 2014-11-03 15:41:48.000000

SCN: 0.1620285 (1620285)

Redo File: +DATA/prod/onlinelog/group_1.299.859509355

Read Checkpoint #2

Oracle Threaded Redo Log

Startup Checkpoint (starting position in the data source):

Thread #: 2

Sequence #:29

RBA:7750160

Timestamp: 2014-11-03 15:39:16.000000

SCN: Not available

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):

Thread #: 2

Sequence #: 29

RBA: 7750160

Timestamp: 2014-11-03 15:37:40.000000

SCN: 0.1619666 (1619666)

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Current Checkpoint (position of last record read in the data source):

Thread #: 2

Sequence #: 29

RBA: 7889920

Timestamp: 2014-11-03 15:41:46.000000

SCN: 0.1620284 (1620284)

Redo File: +DATA/prod/onlinelog/group_3.301.859509357

Write Checkpoint #1

GGS Log Trail

Current Checkpoint (current write position):

Sequence #: 48

RBA: 1076

Timestamp: 2014-11-03 15:41:50.718150

Extract Trail: /goldengate/dirdat/ex

CSN state information:

CRC: CE-DB-CE-78

CSN: Not available

Header:

Version = 2

Record Source = A

Type = 11

# Input Checkpoints = 2

# Output Checkpoints = 1

File Information:

Block Size = 2048

Max Blocks = 100

Record Length = 4096

Current Offset = 0

Configuration:

Data Source = 3

Transaction Integrity = 1

Task Type = 0

Status:

Start Time = 2014-11-03 15:41:29

Last Update Time = 2014-11-03 15:41:50

Stop Status = A

Last Result = 0

修改抽取进程启动位置，两个进程

GGSCI (node3) 7> ALTER EXTRACT ex1, EXTSEQNO21, EXTRBA27644432THREAD1

EXTRACT altered.

GGSCI (node3) 8> ALTER EXTRACT ex1, EXTSEQNO29, EXTRBA7750160THREAD2

EXTRACT altered.

重启进程后源端发起提交命名，结束该事务。

SYS@PROD2 > commit;

Commit complete.

第1000001条数据插入完成

SYS@PROD2 > select count(*) from snow.t1;

COUNT(*)

----------

1000001

目标端第1000001条数据复制完成！

SQL> select count(*) from snow.t1;

COUNT(*)

----------

1000001

实验结束

A格调
关注
【云原生进阶之数据库技术】第二章-Oracle-使用-3.2.2-Oracle ogg安装部署
junbaozi的专栏
05-27 928
在目标端，主要做了4个操作，共包括2个进程，分别是MANAGER和REPLICAT。在目标端，主要做了4个操作，共包括2个进程，分别是MANAGER和REPLICAT。
oracle ogg checkpoint,OGG目的端的checkpoint table被drop的修复方法
weixin_31845811的博客
04-08 980
OGG目的端的checkpoint table被drop的修复方法参考自：OGG Replicat Failed Due To Check_point Table beingTruncated (文档 ID 1319832.1)1.首先，start repfull报错：GGSCI (localhost.localdomain) 8> view report repfull**********...
第四章：OGG Checkpoint 详解
小伟的博客
06-15 6431
 OGG Checkpoint 详解 定位中断的位置，下次启动从中断的位置开始恢复。 1.target  端配置； 2.一条记录对应一个replicat 一. Extract Checkpoints  (1) Extract read checkpoints          （1） Startup checkpoint   --ogg启动的时
oracle ogg巡检,述说OGG检查点
weixin_42533751的博客
04-13 1182
检查点早在Oracle 8之前的时候就有了，到现在12cOracle已经有了各种各样的检查点，并且可以自我调整优化检查点。检查点可以理解只是一个events，它存在的根本意义在于缩短恢复时间。OGG中进程检查点1. Capture>>>>ReadCheckpoint:StartupCheckpoint，Recovery Checkpoint，Current Checkpo...
oracle ogg checkpoint,OGG_Oracle GoldenGate Checkpoint检查点（案例）
weixin_30357183的博客
04-08 166
2014-12-24 Created By 鲍新建一、摘要二、修改BEGIN {NOW | yyyy-mm-dd[:hh:mi:[ss[.cccccc]]] | EOF | SEQNO }--修改抽取进程的开始抽取点：(即：myext的读检查点)alter extract myext BEGIN yyyy-mm-dd:hh:mi:ssalter extract myext BEGIN now--修...
oracle ogg checkpoint,OGG 11g Checkpoint 详解
weixin_29341975的博客
04-08 398
OGG Checkpoint 详解定位中断的位置，下次启动从中断的位置开始恢复。1.target 端配置；2.一条记录对应一个replicat一. ExtractCheckpoints(1)Extractreadcheckpoints(1)Startupcheckpoint --ogg启动的时候创建当Extract进程启动的时候，会创建startupcheckpoint，用来...
oracle ogg 原理,oracle goldengate体系原理简介
weixin_39588206的博客
04-07 906
关于oracle goldengate简称ogg这个产品是oracle收购goldengate软件，然后将其集成到oracle goldengate中去，ogg主要是一种基于日志的挖掘的技术，基本实现原理是通过在源端捕获数据变化的日志然后传输到远程目标数据库中再次应用该日志，从而实现源数据库和目标数据库之间的同步。相对于oracle database的原理体系，ogg从体系上来说是比较简单的，跟o...
oracle ogg操作日志,Oracle GoldenGate OGG管理员手册
weixin_34331744的博客
04-02 1817
第一章 系统实现简述前言编写本手册的目的是为系统管理员以及相关操作人员提供 Oracle Goldengat 软件的日常维护和使用的技术参考；3ORACLE第二章OGG日常维护操作指南启动Goldenagate用oracle用户登录生产数据库主机系统进入 OGG 安装目录/ggs，执行./ggsci进入命令行模式；启动源端管理进程Copyright OGG Software, Inc. 1...
Oracle ogg00446,oracle goldengate报错解决之OGG-00446
weixin_34081553的博客
04-09 681
OGG测试：无法启动ext进程，报错OGG-00446报错日志【截取重要部分】2016-10-28 16:51:40 ERROR OGG-00446 Missing filename opening checkpoint file.2016-10-28 16:51:40 ERROR OGG-01668 PROCESS ABENDING.日志意思很明显：在打开checkpoint f...
oracle ogg checkpoint,推测Oracle GoldenGate(OGG)目的端 rep进程Checkpoint Lag的计算方法
weixin_42518453的博客
04-08 171
推测Oracle GoldenGate(OGG)OGG目的端 rep进程Checkpoint Lag的计算方法背景介绍：如下是OGG目的端的rep进程的显示，当时，OGG源头的传输进程由于网络拥堵的原因，导致传输速度急剧下降，降低为1.5M/分钟。此时，源头已经积压了很多trail file。也就是说，目的端的rep进程处于"吃不饱"的状态--传输进程的传输速度赶不上rep进程的应用速度。GGSC...
OGG checkpoint table 说明
hayata的专栏
01-24 8911
Checkpoint table有两种类型：主表和辅助表。主表根据用户定义名称来来创建，辅助表会自动创建。辅助表就是transaction table。名称是checkpoint table名上加_LOX。 SQL> conn ogg/ogg   Connected. SQL> SQL> select table_name from user_tables;
Oracle Golden Gate 系列十三 -- 配置GG进程检查点（checkpoint） 说明
热门推荐
David Dai -- Focus on Oracle
11-17 1万+
一.Checkpoints 理论说明有关GG的Checkpoints 在系列一， GG的架构中以说明：OracleGolden Gate 系列一 --GG 架构 说明http://blog.csdn.net/tianlesoftware/article/details/6925907 这里在单独拿出来说明一下，因为这是一个较为重要的概念。  Checkpoints storethe current
关于Oracle GoldenGate中Extract的checkpoint的理解
cuibaodun6837的博客
11-11 141
什么是checkpoint？ 在Oracle 数据库中checkpoint的意思是将内存中的脏数据强制写入到磁盘的事件,其作用是保持内存中的数据与磁盘上的数据一致。SCN是用来描述该事件发生的准确的时间点。 而Gol...
转: OGG Checkpoint 详解
weixin_33712987的博客
11-01 469
1. OGG Checkpoint 详解 定位中断的位置，下次启动从中断的位置开始恢复。 1.target 端配置； 2.一条记录对应一个replicat 一. Extract Checkpoints (1) Extract read checkpoints （1） St...
goldengate java_OGG_GoldenGate检查点应用Checkpoint（案例）
weixin_35025310的博客
02-23 171
2021年02月23日 Created By BaoXinjian一、摘要检查点将进程的当前读写位置存储在磁盘中用于恢复目的。检查点不仅可以真实地标记 Extract进程捕获的要进行同步的数据变化以及 Replicat进程应用到 target数据库的数据变化，防止进程进行冗余的数据处理，还可以提供容错机制，防止在系统、网络或 Oracle GoldenGate进程需要重启时发生数据丢失。对于复杂的...
关于Goldengate中的Checkpoint和Checkpoint Lag
My Technology Workstation
07-14 3513
一.概要 前段时间,一个朋友问我关于goldengate中的Lag的问题。因涉及到Lag的详细行程过程，而我一直觉得Lag就是：本进程处理一条记录的时间点和前一个进程处理该记录时的时间点的差距，因为一般情况下都是目标端的REP进程出现LAG的机会比较大，平时也更加侧重于如何去诊断LAG和优化，所以当纠结一些详细原因的时候就卡住了(到底是不是当前处理时间和源库产生的时间)。那既然要更加明确
GoldenGate准确修改抽取进程checkpoint
congbaifu8214的博客
04-15 493
获取现有队列文件的checkpoint信息并清理旧进程 GGSCI (IBM_P740-3) 9> info ext_cen,showch EXTRACT EXT_CEN Last Started 201...
Goldengate Checkpoint Table Is Corrupted
Database、Code
09-21 2118
Replicat maintains checkpoints that provide a known position in the trail from which to start after an expected or unexpected shutdown. By default, a record of these checkpoints is maintained in a f
oracle ogg常用指令,OGG（ORACLE GOLDENGATE）使用手册
weixin_29876341的博客
04-06 3644
OGG(ORACLE GOLDENGATE)使用手册(图中涉及工作，未贴，见谅)一、OGG原理OGG是一种基于日志的结构化数据复制软件，通过捕获源数据库onlineredolog(在线重做日志)或archivelog(归档日志)获得数据变化，形成tail(队列文件),再将这些tail通过网络协议，传输到目标数据库，目标端通过解析，插入至目标端数据库，从而实现源端与目标端数据同步。二、目录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值