GoldenGate Lag For Huge Insert

最新推荐文章于 2022-01-22 21:36:39 发布
最新推荐文章于 2022-01-22 21:36:39 发布
阅读量2.5k 收藏
点赞数 1
分类专栏： GoldenGate 文章标签： Lag ogg lag
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zbdba/article/details/40341377
版权
前些天客户的ogg延迟到达8小时左右，于是我当时用logdump追踪了一下：


看进程状态：
send extsa staus


EXTRACT ZBDBA (PID 2269368)
  Current status: Recovery complete: Processing data with empty data queue

  Current read positions:
  Redo thread #: 1
  Sequence #: 36694
  RBA: 35831764
  Timestamp: 2014-10-17 16:18:28.000000
  SCN: 3044.3022023259
  Redo thread #: 2
  Sequence #: 34709
  RBA: 403776
  Timestamp: 2014-10-17 16:18:28.000000
  SCN: 3044.3022023265
  Current write position:
  Sequence #: 5160
  RBA: 168381460
  Timestamp: 2014-10-17 17:07:07.339050
  Extract Trail: ./dirdat/sa

使用logdump


Logdump 254 >open /goldengate/dirdat/sa005160
Current LogTrail is /goldengate/dirdat/sa005160
Logdump 255 >ghdr on
Logdump 256 >detail on
Logdump 257 >detail data
Logdump 258 >usertoken on
Logdump 259 >pos 168381460
Reading forward from RBA 168381460
Logdump 260 >n
___________________________________________________________________
Hdr-Ind    :     E  (x45)     Partition  :     .  (x04) 
UndoFlag   :     .  (x00)     BeforeAfter:     A  (x41) 
RecLength  :   226  (x00e2)   IO Time    : 2014/10/17 16:18:28.000.000  
IOType     :     5  (x05)     OrigNode   :   255  (xff)
TransInd   :     .  (x03)     FormatType :     R  (x52)
SyskeyLen  :     0  (x00)     Incomplete :     .  (x00)
AuditRBA   :      34709       AuditPos   : 369920
Continued  :     N  (x00)     RecCount   :     1  (x01)

2014/10/17 16:18:28.000.000 Insert               Len   226 RBA 168381460
Name: MW_APP.MWT_UD_KW_SJBGJL
After  Image:                                             Partition 4   G  s  
0000 002c 0000 3641 4431 4545 4239 2d32 3830 382d | ...,..6AD1EEB9-2808- 
3437 3030 2d42 4335 322d 4342 3936 4132 4130 4234 | 4700-BC52-CB96A2A0B4 
3638 2d30 3537 3137 0001 002c 0000 3641 4431 4545 | 68-05717...,..6AD1EE 
4239 2d32 3830 382d 3437 3030 2d42 4335 322d 4342 | B9-2808-4700-BC52-CB 
3936 4132 4130 4234 3638 2d30 3537 3132 0002 0028 | 96A2A0B468-05712...( 
0000 0024 3436 3930 3238 3835 2d39 3745 462d 3444 | ...$46902885-97EF-4D 
3644 2d39 4446 322d 4536 3837 4637 3938 3039 3334 | 6D-9DF2-E687F7980934 
Column     0 (x0000), Len    44 (x002c) 
0000 3641 4431 4545 4239 2d32 3830 382d 3437 3030 | ..6AD1EEB9-2808-4700 
2d42 4335 322d 4342 3936 4132 4130 4234 3638 2d30 | -BC52-CB96A2A0B468-0 
3537 3137                                         | 5717 
Column     1 (x0001), Len    44 (x002c) 
0000 3641 4431 4545 4239 2d32 3830 382d 3437 3030 | ..6AD1EEB9-2808-4700 
2d42 4335 322d 4342 3936 4132 4130 4234 3638 2d30 | -BC52-CB96A2A0B468-0 
3537 3132                                         | 5712 
Column     2 (x0002), Len    40 (x0028) 
0000 0024 3436 3930 3238 3835 2d39 3745 462d 3444 | ...$46902885-97EF-4D 
3644 2d39 4446 322d 4536 3837 4637 3938 3039 3334 | 6D-9DF2-E687F7980934 
Column     3 (x0003), Len    31 (x001f) 
0000 3230 3134 2d31 302d 3137 3a31 363a 3138 3a32 | ..2014-10-17:16:18:2 
382e 3631 3335 3436 3030 30                       | 8.613546000 
Column     4 (x0004), Len     5 (x0005) 
0000 0001 30                                      | ....0 
Column     5 (x0005), Len    13 (x000d) 
0000 0009 3438 3330 3730 3539 38                  | ....483070598 
Column     6 (x0006), Len     5 (x0005) 
0000 0001 43                                      | ....C 
Column     7 (x0007), Len     4 (x0004) 
ffff 0000                                         | .... 
Column     8 (x0008), Len     4 (x0004) 
ffff 0000                                         | .... 
  
Logdump 261 >


查看表： 

 
  SQL> select count(1) from MW_APP.MWT_UD_KW_SJBGJL;

  COUNT(1)
----------
   1217825
  
  
  
SQL> select count(1) from MW_APP.MWT_UD_KW_SJBGJL;


  COUNT(1)
----------
   1218487
  
SQL> select count(1) from MW_APP.MWT_UD_KW_SJBGJL;


  COUNT(1)
----------
   1219335  

EXTRACT ZBDBA (PID 2269368)
  Current status: Recovery complete: Processing data with empty data queue

  Current read positions:
  Redo thread #: 1
  Sequence #: 36695
  RBA: 36154920
  Timestamp: 2014-10-17 16:24:31.000000
  SCN: 3044.3022349713
  Redo thread #: 2
  Sequence #: 34712
  RBA: 940508
  Timestamp: 2014-10-17 16:24:31.000000
  SCN: 3044.3022349707
  Current write position:
  Sequence #: 5161
  RBA: 79119190
  Timestamp: 2014-10-17 17:15:30.448658
  Extract Trail: ./dirdat/sa
 
 
 
Logdump 261 >open /goldengate/dirdat/sa005161
Current LogTrail is /goldengate/dirdat/sa005161
Logdump 262 >ghdr on
Logdump 263 >detail on
Logdump 264 >detail data
Logdump 265 >usertoken on
Logdump 266 >pos
Current position is RBA 0   Forward
Logdump 267 >pos 79119190
Reading forward from RBA 79119190
Logdump 268 >n
___________________________________________________________________
Hdr-Ind    :     E  (x45)     Partition  :     .  (x04) 
UndoFlag   :     .  (x00)     BeforeAfter:     A  (x41) 
RecLength  :   124  (x007c)   IO Time    : 2014/10/17 16:24:31.000.000  
IOType     :     5  (x05)     OrigNode   :   255  (xff)
TransInd   :     .  (x03)     FormatType :     R  (x52)
SyskeyLen  :     0  (x00)     Incomplete :     .  (x00)
AuditRBA   :      34712       AuditPos   : 942196
Continued  :     N  (x00)     RecCount   :     1  (x01)

2014/10/17 16:24:31.000.000 Insert               Len   124 RBA 79119190
Name: MW_APP.MWT_CBM_ZTLBGGL
After  Image:                                             Partition 4   G  s  
0000 002e 0000 002a 3538 3846 3634 4231 2d37 3938 | .......*588F64B1-798 
452d 3444 3131 2d41 3930 332d 3546 3446 4130 4632 | E-4D11-A903-5F4FA0F2 
3236 3033 2d33 3634 3938 0001 000d 0000 0009 3438 | 2603-36498........48 
3331 3238 3538 3300 0200 04ff ff00 0000 0300 04ff | 3128583............. 
ff00 0000 0400 04ff ff00 0000 0500 15ff ff31 3930 | .................190 
302d 3031 2d30 313a 3030 3a30 303a 3030 0006 0004 | 0-01-01:00:00:00.... 
ffff 0000                                         | .... 
Column     0 (x0000), Len    46 (x002e) 
0000 002a 3538 3846 3634 4231 2d37 3938 452d 3444 | ...*588F64B1-798E-4D 
3131 2d41 3930 332d 3546 3446 4130 4632 3236 3033 | 11-A903-5F4FA0F22603 
2d33 3634 3938                                    | -36498 
Column     1 (x0001), Len    13 (x000d) 
0000 0009 3438 3331 3238 3538 33                  | ....483128583 
Column     2 (x0002), Len     4 (x0004) 
ffff 0000                                         | .... 
Column     3 (x0003), Len     4 (x0004) 
ffff 0000                                         | .... 
Column     4 (x0004), Len     4 (x0004) 
ffff 0000                                         | .... 
Column     5 (x0005), Len    21 (x0015) 
ffff 3139 3030 2d30 312d 3031 3a30 303a 3030 3a30 | ..1900-01-01:00:00:0 
30                                                | 0 
Column     6 (x0006), Len     4 (x0004) 
ffff 0000                                        


SQL> SQL> select count(1) from MW_APP.MWT_UD_KW_SJBGJL;


  COUNT(1)
----------
   1220223
  
  
GGSCI (pmsnxdb1) 97> !
send ZBDBA status

Sending STATUS request to EXTRACT ZBDBA ...


EXTRACT ZBDBA (PID 2269368)
  Current status: Recovery complete: Processing data

  Current read positions:
  Redo thread #: 1
  Sequence #: 36700
  RBA: 4528776
  Timestamp: 2014-10-17 17:18:05.000000
  SCN: 3044.3023151974
  Redo thread #: 2
  Sequence #: 34724
  RBA: 87547776
  Timestamp: 2014-10-17 17:18:06.000000
  SCN: 3044.3023152070
  Current write position:
  Sequence #: 5165
  RBA: 109446515
  Timestamp: 2014-10-17 17:29:26.994375
  Extract Trail: ./dirdat/sa
 


Logdump 269 >open /goldengate/dirdat/sa005165
Current LogTrail is /goldengate/dirdat/sa005165
Logdump 270 >ghdr on
Logdump 271 >detail on
Logdump 272 >detail data
Logdump 273 >usertoken on
Logdump 274 >pos 109446515
Reading forward from RBA 109446515
Logdump 275 >n
___________________________________________________________________
Hdr-Ind    :     E  (x45)     Partition  :     .  (x04) 
UndoFlag   :     .  (x00)     BeforeAfter:     A  (x41) 
RecLength  :   176  (x00b0)   IO Time    : 2014/10/17 17:12:19.000.000  
IOType     :    15  (x0f)     OrigNode   :   255  (xff)
TransInd   :     .  (x03)     FormatType :     R  (x52)
SyskeyLen  :     0  (x00)     Incomplete :     .  (x00)
AuditRBA   :      34724       AuditPos   : 1235984
Continued  :     N  (x00)     RecCount   :     1  (x01)

2014/10/17 17:12:19.000.000 FieldComp            Len   176 RBA 109446515
Name: MW_SYS.MWT_AM_HISMENU
After  Image:                                             Partition 4   G  s  
0000 0026 0000 4245 4642 4246 3243 2d45 3532 342d | ...&..BEFBBF2C-E524- 
3441 3641 2d39 3738 412d 3233 3545 3343 3431 3744 | 4A6A-978A-235E3C417D 
4439 0001 0026 0000 4436 4539 3631 4545 2d36 4331 | D9...&..D6E961EE-6C1 
362d 3437 3138 2d41 4135 342d 3245 3146 3738 4531 | 6-4718-AA54-2E1F78E1 
4441 4145 0002 0007 0000 0003 3238 3200 0300 1f00 | DAAE........282..... 
0032 3031 312d 3034 2d31 313a 3038 3a35 303a 3239 | .2011-04-11:08:50:29 
2e32 3637 3030 3030 3030 0004 0003 0000 4300 0500 | .267000000......C... 
Column     0 (x0000), Len    38 (x0026) 
0000 4245 4642 4246 3243 2d45 3532 342d 3441 3641 | ..BEFBBF2C-E524-4A6A 
2d39 3738 412d 3233 3545 3343 3431 3744 4439      | -978A-235E3C417DD9 
Column     1 (x0001), Len    38 (x0026) 
0000 4436 4539 3631 4545 2d36 4331 362d 3437 3138 | ..D6E961EE-6C16-4718 
2d41 4135 342d 3245 3146 3738 4531 4441 4145      | -AA54-2E1F78E1DAAE 
Column     2 (x0002), Len     7 (x0007) 
0000 0003 3238 32                                 | ....282 
Column     3 (x0003), Len    31 (x001f) 
0000 3230 3131 2d30 342d 3131 3a30 383a 3530 3a32 | ..2011-04-11:08:50:2 
392e 3236 3730 3030 3030 30                       | 9.267000000 
Column     4 (x0004), Len     3 (x0003) 
0000 43                                           | ..C 
Column     5 (x0005), Len    14 (x000e) 
0000 000a b9a4 d7f7 c6b1 b9dc c0ed                | .............. 
Column     6 (x0006), Len     4 (x0004) 
ffff 0000                                         | .... 
Column     7 (x0007), Len     9 (x0009) 
0000 0005 3939 3434 32                            | ....99442 
  

MW_APP用户下的MWT_UD_KW_SJBGJL做大量插入操作没有提交。当日志重用迫使事物提交
所以经过多次切换日志，延迟减小。
GGSCI (pmsnxdb1) 100> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                          
EXTRACT     RUNNING     ZBCXY       00:00:00      00:00:03   
EXTRACT     RUNNING     ZBDBA       00:03:46      00:00:09



zbdba
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oracle goldengate 11.2for 10g aix
11-27
oracle goldengate for oracle 10g aix 环境
20161218-solr cloud 定时刷新数据 先开个坑已填
yehuang_0801的博客
12-16 3262
先开个坑
idea自带的tomcat无法生成server.xml文件
qq_36236621的博客
05-20 1811
这是我目前为止遇上是最奇怪的问题。启动idea，提示如下： Error running 'Unnamed': Cannot load C:\Users\Administrator\.IntelliJIdea2017.2\system\tomcat\Unnamed_pmsnx\conf\server.xml: C:\Users\Administrator\.IntelliJIdea2017.2\s...
大事务导致OGG复制进程延迟几个小时
weixin_41561946的博客
11-19 1570
系统环境 源和目标数据库都是oracle11.2.0.4 OGG:12.0.1 遇到的问题 问题分析与处理 参考资料 OGG/LOGDUMP:https://www.ateam-oracle.com/loren-penton logdump:http://blog.itpub.net/25174901/viewspace-2121452/
【Goldengate性能优化】优化Extract抽取进程性能，解决OGG抽取日志延迟
我的Oracle DBA之路
05-22 1494
http://www.askmaclean.com/archives/ogg-goldengate-extract-slow.html 【Goldengate性能优化】优化Extract抽取进程性能，解决OGG抽取日志延迟 2013/04/22 BY MACLEAN LIU 3条评论 一般来说OGG Goldengate 抽取进程对CPU的压力非常小， 而对于I/O
将OGG抽取进程结果显示的scn值转为数据库的scn值
DataVoyager的博客
01-22 443
将OGG抽取进程结果显示的scn值转为数据库的scn值
在OGG中跳过Oracle DB 长事务的命令
msdnchina的专栏@JiNan,ShanDong
11-27 4149
在OGG中跳过Oracle DB 长事务的命令
关于集成抽取进程重启后的现象分析
weixin_33845881的博客
12-18 779
当执行一个大的事务或数据量比较大时，停止集成抽取进程ex1，发现不能停止，然后直接kill，此时，再start ex1，发现ex1是running状态，但checkpoint lag一直在增加，也获取不到SCN。然后再kill ex1, alter ex1, begin now,start ex1, info ex1查看之后，仍然是相同的情况。GGSCI (WIN7ora as src_ogg@o...
goldengate for db2 to oracle
04-25
Upon completion of this lesson, you will be able to configure GoldenGate to provide DB2 to Oracle synchronization.
Oracle GoldenGate 11g For Windows部署维护手册
06-25
原创文档，根据项目实际情况编写的部署文档，以便于IT学习者作为实际参考。
Oracle GoldenGate V12.2.0.1.1 for MySQL on Windows (64bit).zip
04-25
Oracle GoldenGate V12.2.0.1.1
最短Hamilton路径 状压DP
Hagtaril
02-16 299
题面 给定一张 n 个点的带权无向图，点从 0~n-1 标号，求起点 0 到终点 n-1 的最短Hamilton路径。 Hamilton路径的定义是从 0 到 n-1 不重不漏地经过每个点恰好一次。 输入格式 第一行输入整数n。 接下来n行每行n个整数，其中第i行第j个整数表示点i到j的距离（记为a[i,j]）。 对于任意的x,y,z，数据保证 a[x,x]=0，a[x,y]=a[y,x] 并且 ...
[OpenCV学习日记-java]-13-轮廓发现与绘制
Timeless小帅的博客
01-30 1779
轮廓发现与绘制 有时候,我们希望Canny边缘提取出来的图像是完整的轮廓,但是Canny出来的却是一些边缘的像素信息,并没有向我们提供完整的轮廓 OpenCV中有一组轮廓发现与绘制的函数,能帮助我们发现轮廓与绘制轮廓 轮廓发现 图像的轮廓一般都有啥由一系列的像素点组成的,一般为二值图像,每一组轮廓都是一组像素点,从这些点还可以看出一条曲线上的其他各点,假设图像中有多个轮廓,则会生成多个轮廓描述的...
安全软件公司Avast开源化机器码反编译器RetDec | 试用篇
joshua2011的专栏
01-11 2039
之前的文章  cool -- 安全软件公司Avast开源化机器码反编译器RetDec 昨天试用了一下 安全软件公司Avast开源化机器码反编译器RetDec，一个字，非常非常非常耗内存，16G的内存都不够。 但结果还是可以的，好家伙，它是以反编译出来的代码还能再编译为目标。 已经没有内存去运行截图软件了，只能用手机拍了，手抖。 Out of memo
The A3 Report
chuilizhan6639的博客
08-23 86
The A3 Report goes hand-in-hand with steps 0-6 of the A3 Process. The purpose of the A3 Report is to: Document the learning, decisions, and...
杰奇小说Pyspider脚本编写指南
duaixs的博客
05-17 613
import sys reload(sys) sys.setdefaultencoding('utf8') import copy import json import time,datetime import re from pyspider.libs.base_handler import * from pyquery import PyQuery as pq result_template = { "info_id":"", # 资讯信息编号（自增） "url":"", # 原文URL "title.
Python（re+urllib）在eclipse环境下爬取网络小说（多级爬取）
初学者L_言的博客
09-24 699
python在eclipse环境下的爬虫 用到的包： import re import urllib.request 运用正则需要这个jieba库哦 不足之处，希望各位帮忙指出 谢谢啦！ 思路 首先明确目标： -得到每一章的标题 -得到每一章的内容 网页链接（url）:https://xs.sogou.com/list/6232872035/ 分析网页源代码可知 该...
OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer).
热门推荐
Database、Code
09-15 1万+
经常在OGG日志文件中看到如下错误： OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer). 查了metalink，大概说的是extract 和collector 交互的关系，分为STREAMING 和NOSTREAMING 模式，各有各的优势。总的建议如果该错误不是很频繁，建议使用S
oracle goldengate 12.2.0.1 for oracle下载
最新发布
04-30
Oracle GoldenGate 12.2.0.1 for Oracle可以从Oracle官方网站上下载。您首先需要在Oracle官方网站中注册并登录您的Oracle账户，然后在下载页面上选择适合您所需平台的软件包。 Oracle GoldenGate是一种高性能的数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值