ogg
文章平均质量分 71
好记忆不如烂笔头abc
Oracle GoldenGate认证,超15年电信、金融、医疗、政府、教育等数据库运维经验,擅长oracle数据库高可用技术RAC/ADG以及跨平台跨版本数据库各种方法最短时间大数据量迁移升级:
oracle各版本之间:从9i->10g->11g->12c,19c,21c
sqlserver各版本之间:从2000->2008->2012->2014->2016->2017->2019
db2->oracle,oracle->postgresql等
展开
-
如何粗略计算adg或ogg所需要使用的带宽
如何粗略计算adg或ogg所需要使用的带宽原创 2023-09-20 13:30:32 · 185 阅读 · 0 评论 -
Oracle GoldenGate 19 Microservices完整高可用安装、配置与测试
大神们在群里讨论微服务的高可用,主要是XAG不支持adminclient接口,只支持ggsci接口,经过查看官方文档说明,最新版本XAG已经支持adminclient接口,ORACLE CLUSTER不仅仅支持ORACLE DATABASE也可以来管理各种资源实现高可用,OGG高可用管理主要依赖XAG插件。本文主要讲述如何通过ORACLE CLUSTER加上XAG实现OGG Microservices微服务的高可用。 前2篇文档讲述关于OGG 19C Microservices微服务安装、配置以转载 2023-06-14 16:01:12 · 1220 阅读 · 0 评论 -
Goldengate目标端11g升级至19c
由于源端目标端ogg版本不同,存在丢失数据的情况,解决方法是升级源端ogg版本与目标端一致,而由于源端数据库版本过低,因此源端ogg无法升级。经测试发现,升级目标端ogg版本至19c也可以解决此问题。转载 2023-02-01 14:57:14 · 319 阅读 · 0 评论 -
了解GoldenGate Replicat的HANDLECOLLISIONS参数
HANDLECOLLISIONS是我们使用goldengate过程中常有的一个REPLICAT参数,该参数依赖于主键或唯一索引处理冲突数据,常用于初始化阶段。对于无主键或唯一索引的表无法处理冲突,且可能导致重复记录。注意打开此参数则所有数据错误不管reperror如何配置均不再写discard文件,即所有数据冲突信息被默认规则处理,没有任何日志(则会忽略error mapping数据错误,而且不会报告到discard文件),因此日常复制不建议使用该参数;可予以考虑的特殊场景为只需新增数据,无需复制历史数据。转载 2022-12-13 18:04:47 · 136 阅读 · 0 评论 -
应用复制进程abend,报错OGG-01163字段列长度不够
ERROR OGG-01163 Bad column length (8) specified for column STATUS_ID in table ., maximum allowable length is 4.转载 2022-08-17 12:06:58 · 1487 阅读 · 0 评论 -
OGG21C微服务版(图形化)
在一次OGG的学习过程中偶然知道OGG21C的版本有面向微服务版的,而且是图形化的。不由得有些高兴,这可是解决了大问题啊。于是自己动手尝试了一下。转载 2022-06-10 10:22:11 · 970 阅读 · 0 评论 -
sqlserver目标端比oracle源端多2个字段的同步
Oracle GoldenGate Command Interpreter for SQL ServerVersion 19.1.0.0.200204 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200122.0600Windows x64 (optimized), Microsoft SQL Server on Jan 22 2020 20:24:58Operating system character set identified as GBK.Copyright (.原创 2022-02-17 09:32:26 · 887 阅读 · 0 评论 -
ogg支持oracle adg备库上抽取吗?
1.多租户数据库的adg备库上不支持。2.非多租户数据库的单实例和RAC使用经典模式支持,但不支持集成模式。Choosing Capture and Apply Modes原创 2022-02-16 16:00:19 · 1824 阅读 · 0 评论 -
OGG19C for linux静默安装
[oracle@rac1 response]$ grep -v '^#' ogg.rsp|grep -v '^$'oracle.install.responseFileVersion=/oracle/install/rspfmt_ogginstall_response_schema_v19_1_0INSTALL_OPTION=ORA19cSOFTWARE_LOCATION=/oggSTART_MANAGER=MANAGER_PORT=DATABASE_LOCATION=INVENTORY_LOC原创 2022-02-16 10:46:46 · 1141 阅读 · 1 评论 -
GoldenGate如何修改抽取进程的读取点?
在GoldenGate的运维过程中,经常会因为某些原因,需要修改源端抽取进程的读取点,比如从指定时间开始解析日志。 操作命令如下:GGSCI>alter extract ex2, begin 2020-04-22 10:00:00以上命令即可将抽取进程的读取点改到2020.4.22 10点整,OGG会捕获这个时间之后启动的事务。 当然,上面语句能否修改成功,需要确认生产源库的日志文件是否存在,如果修改的读取点是很早之间,有可能归档日志已经被删除,则抽取进程会提示找不到日志文件而报错。...转载 2022-01-24 21:55:09 · 625 阅读 · 0 评论 -
解决msvcr120.dll文件丢失问题
启动ogg for sqlserver 的ggsci遇到同样问题解决。在安装MySQL时提示缺少这个文件,搞了1太多,各种方法都试了。。。。。。解决办法:试了好多方法,都解决不了。网上下载msvcr120.dll放到对应目录下失败下载安装VC++2013,微软官网的链接 https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=40784 下载自己对应的版本,安装,一般可以解决。还是失败拷贝别的电脑得文件到我的电.转载 2022-01-20 22:45:35 · 233 阅读 · 0 评论 -
ogg for sqlserver 日志暴涨的问题
ogg for sqlserver 2008 R2 开启后,sqlserver的日志会出现暴涨的情况,解决办法如下:1.先确认是否数据库设置问题导致如:1)查看ggerror中,是否有报错!2)然后确认log备份使用的是log backup同时没有使用压缩.3)数据库恢复模式2.在gg添加表的扩展日志后,确认agent中是否对应的CDC capture禁用add trandata dbo.tbl01开启扩展日志后,需要将agent中对应的CDC capture禁用.3转载 2022-01-15 20:34:47 · 456 阅读 · 0 评论 -
由于目标端地址变更,添加ogg推送进程
编辑edit param p155a和p155bGGSCI (hxplatformdbnew) 5> view param p155bextract p155bSETENV (ORACLE_SID = "gddb")setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)USERID oggadm, PASSWORD AACAAAAAAAAAAALANIJHVBICLBQHQFWIHIPDLGPIYDGGCJTB, ENCRYPTKEY DEFAULTrmt原创 2021-12-29 09:55:15 · 638 阅读 · 0 评论 -
OGG 同步无主键表且目标表多一个隐藏字段
问题描述:已知OGG在同步无主键的表时,OGG会自动设置表的全字段为主键,若目标表字段多于源表,同步过程中replicat进程可以读取insert操作但无法进行update操作,从而导致replicat进程abend。探究:Oracle12c引入了一个新特性——隐藏字段,若将目标表多的字段隐藏,OGG是否能进行正常同步。环境准备:在同一数据库中不同用户下进行ogg同步,源端用户oggs,目标端用户oggt。 源端 创建A表结构:SQL > create table..转载 2021-12-07 16:59:18 · 1081 阅读 · 0 评论 -
OGG-06598 TEST.NDTM_LOCKMON is a compressed table but TRANLOGOPTIONS ALLOWTABLECOMPRESSION paramete
2021-07-10 09:57:22 ERROR OGG-06598 TEST.NDTM_LOCKMON is a compressed table but TRANLOGOPTIONS ALLOWTABLECOMPRESSION parameter is not specified in the extractparameter file.2021-07-10 09:57:22 ERROR OGG-01668 PROCESS ABENDING.[root@ ~]# su - d...原创 2021-07-10 17:55:32 · 141 阅读 · 0 评论 -
OGG-00551 Database operation failed: Executing fetch for query row
2021-07-10 22:58:45 ERROR OGG-00551 Database operation failed: Executing fetch for query row. ODBC error: SQLSTATE 57016 native database error -668. [IBM][CLI Driver][DB2/LINUXX8664] SQL0668N Operation not allowed for reason code "7" on table "CIS.PE...原创 2021-07-10 23:05:58 · 956 阅读 · 0 评论 -
GoldenGate BR(bounded Recovery)简单说明
背景Oracle数据库的在线日志包含已提交的和未提交的事务,但OGG只会将已提交的事务写入到队列文件。因此,针对未提交的事务,特别是未提交的长事务,OGG会怎样处理呢?有些长事务是在批处理作业中,需要几个小时才能执行完成,比如晚上跑批的作业。这种情况,OGG会从这些事务一执行就开始读取在线日志,但这些事务可能会持续很久,从而在线日志也会切换到归档日志中,这期间也可能会有其它事务在执行和提交,如果长事务一直未提交,一旦OGG抽取进程有重启,归档日志又因为定期的rman备份而删除,此时该怎么办呢?针转载 2021-06-13 20:42:07 · 502 阅读 · 0 评论 -
OGG-01028 Formatting error on: table name xxx, rowid AAAMb2AB+AABp6KAAj, XID 33.22.36594, position
相关参考:Error Converting Numeric from Oracle to ASCII Format for Column XXXX (Doc ID 1086056.1)原创 2021-06-11 18:36:37 · 577 阅读 · 0 评论 -
ogg Reason code “68“. SQLSTATE=40001[IBM]
ogg附加日志报错:GGSCI ( as jyc@jyc) 18> add trandata JYC.TEST2021-06-04 12:38:09 WARNING OGG-00552 Database operation failed: SQLExecDirect error: ALTER TABLE "jyc"."SVC_FLW_CHRONIC" DATA CAPTURE CHANGES INCLUDE LONGVAR COLUMNS. ODBC error: SQLSTATE 4000..原创 2021-06-04 13:25:43 · 1370 阅读 · 0 评论 -
OGG GoldenGate Extract | Pump Abends with: “TCP/IP Error 9 (Bad File Number)“ (Doc ID 1359087.1)
OGG GoldenGate Extract | Pump Abends with: "TCP/IP Error 9 (Bad File Number)" (Doc ID 1359087.1)Oracle GoldenGate - Version 11.1.1.1.0 and laterInformation in this document applies to any platform.***Checked for relevance on 24-Mar-2013***SYMPTOMSE转载 2021-05-27 11:06:28 · 412 阅读 · 0 评论 -
ogg涉及的端口查询
源端:GGSCI (racj1) 6> view param mgrPORT 7809DYNAMICPORTLIST 7940-7950--AUTOSTART EXTRACT *AUTORESTART EXTRACT *,WAITMINUTES 3,RETRIES 20LAGREPORTHOURS 1PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, minkeepdays 7CHECKMINUTES 5GGSCI (racj1) 4>原创 2021-05-20 14:58:03 · 1203 阅读 · 0 评论 -
OGG-02913 Metadata format of the definitions file for table <schema>.<Table> does not match trail f
Ogg replicat - ERROR OGG-02913 Metadata format of the definitions file for table <schema>.<Table> does not match trail format. (Doc ID 2603896.1)Oracle GoldenGate Application Adapters - Version 12.3 and laterInformation in this document appl转载 2021-05-18 13:06:55 · 1011 阅读 · 0 评论 -
Extract Abended As It Ran Out Of Sequence Numbers Used To Create TRAIL Files (Doc ID 1575351.1)
Extract Abended As It Ran Out Of Sequence Numbers Used To Create TRAIL Files (Doc ID 1575351.1)Oracle GoldenGate - Version 11.2.1.0.4 and laterInformation in this document applies to any platform.GOALIs there anyway to increase the trail file number转载 2021-05-10 10:28:10 · 156 阅读 · 0 评论 -
Using HANDLECOLLISIONS and ignoring DML errors in Replicats (Doc ID 1572207.1)
Using HANDLECOLLISIONS and ignoring DML errors in Replicats (Doc ID 1572207.1)Oracle GoldenGate - Version 11.2.1.0.5 and laterInformation in this document applies to any platform.GOALHANDLECOLLISIONSis used primarily in the replicat just after init.转载 2021-05-06 16:28:00 · 191 阅读 · 0 评论 -
ogg19.1.0.0.4打补丁
基本步骤:在oracle支持网站下载指定补丁解压到oracle用户下设置ogg的ORACLE_HOME路径opatch applyLast login: Wed Apr 21 15:28:09 2021 from 192.168.52.1[root@oem ~]# su - oracleLast login: Thu May 6 10:48:18 CST 2021[oracle@oem ~]$ df -hFilesystem Size Used...原创 2021-05-06 11:09:30 · 636 阅读 · 0 评论 -
OGG-01028 Incompatible Record If the Trail Is Not Corrupt
通过ATSCN 的方式启动REPLICAT 进程的时候报错GGSCI> START REPLICAT RP_XXXX1, ATCSN15572172378GGSCI> VIEW REPORT RP_XXXX1ERROR OGG-01028 Oracle GoldenGate Delivery for Oracle, rp_xxxx1.prm: Incompatible record (101) in ./dirdat/ra000212, rba 1477095 ...转载 2021-04-12 13:01:18 · 509 阅读 · 0 评论 -
OGG-01433 Oracle GoldenGate Capture for Oracle, EXXX.prm: Failed to validate table <SCHEMANAME.TABLE
检查ggserr.log发现尝试去掉压缩以及重新添加日志依然失败。最终排除该表解决。否则需要重新同步。----------------------------------------GoldenGate Extract Process Abend With OGG-01433 Failed to validate table, The table is compressed and extract will not be able to extract data from Ora..原创 2021-03-25 15:10:44 · 9574 阅读 · 0 评论 -
ogg的extract的拆分方法
ogg的extract的拆分方法0.背景OGG 在部署以后,随着业务压力的增大,可能需要增加多个group来处理数据同步,在这种情况下,就需要对原有的OGG 进程拆分,同时也不能导致数据同步出现问题。1. 停止extract进程GGSCI (ogg1) 2> stop ext12. 停止datapump进程这里要等到投递进程投递完成才能停止,如果在没有投递完成的情况下停止会丢数据GGSCI (ogg1) 4> info dpumpEXTRACT DPUMP Las转载 2021-01-21 13:02:58 · 623 阅读 · 0 评论 -
OGG-01028 partial record at sequence 41932, block 3746768 block byte 0, rba 1918345216.
bug问题引起ogg abend了1天,直接start gdcq后正常,好在归档日志保留了3天,如果超过1天不存在了抽取就过不去了。对应bug,调整mgr重试次数,可能可以规避短时间内启动失败的问题。相关参考如下:Classic Extract abends with following erroreg.,Oracle GoldenGate Capture for OracleVersion 12.2.0.1.160223 22933410_FBOLinux, x64, ..原创 2021-01-11 15:12:54 · 697 阅读 · 0 评论 -
利用ogg实现oracle到kafka的增量数据实时同步
我的原创地址:https://dongkelun.com/2018/05/23/oggOracle2Kafka/前言ogg即Oracle GoldenGate是Oracle的同步工具,本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中,其中同步消息格式为json。下面是我的源端和目标端的一些配置信息:- 版本 OGG版本 ip 别名 源端 OracleRelease 11.2.0.1.0 Oracle GoldenGate 11.转载 2021-01-05 14:20:03 · 598 阅读 · 0 评论 -
OGG-01224 Address already in use.
重启即可。原因可能是安全扫描导致。为省去人工重启,可加入自动启动进程。安全部门使用端口扫描软件会影响OGG进程。 当该进程在端口上收到来自非Oracle GoldenGate进程的通信时,OGG会解释为攻击,并将立即abend进程以防止对该产品的任何入侵。可以通知安全部门避免OGG的端口扫描,但往往不可能,在OGG12.3版本以前不存在该问题,在12.2中是以另外一种通知方式,可以参考BLOG 《OGG-01022 Unknown N bytes message received & OGG-.原创 2020-12-31 10:00:41 · 2049 阅读 · 0 评论 -
ogg的ZHS16GBK同步到AL32UTF8问题
Replicate Chinese Characters AMERICAN_AMERICA.ZHS16GBK to target charset AL32UTF8, Oracle to Oracle, 11.1 and before 11.2 (Doc ID 1469735.1)APPLIES TO:Oracle GoldenGate - Version 11.1.1.1.2 and laterInformation in this document applies to any platform转载 2020-12-08 12:25:18 · 597 阅读 · 0 评论 -
Oracle GoldenGate 12.3.0.1.4 安装配置 之07 (集成抽取模式 配置DDL、SEQUENCE支持)
Oracle GoldenGate 12.3.0.1.4 安装配置 之07 (集成抽取模式 配置DDL、SEQUENCE支持)1.删除 sequence dbha_seq (ddl 测试时重新创建)--xag100,xag101[oracle@xag101 ~]$ sqlplus us01/us01@TNS_DB101SQL> drop sequence dbha_seq;2.创建了一些供Oracle GoldenGate进程使用的过程 --xag100,xag101[ora转载 2020-11-13 16:37:05 · 564 阅读 · 0 评论 -
oracle19c初始化同步到pg12--同步测试配置(3)
测试发现:暂不支持truncate同步源端操作:GGSCI (oem) 43> view param mgrport 7839ACCESSRULE,PROG *,IPADDR 192.168.52.131,ALLOW--DYNAMICPORTLIST 7840-7860AUTOSTART EXTRACT *AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 2PURGEOLDEXTRACTS /home/oracle/ogg/dirdat/*原创 2020-11-03 15:36:51 · 1546 阅读 · 0 评论 -
oracle19c初始化同步到pg12--源端配置(2)
源端:oracle19c目标端:pg12源端配置参考:GGSCI (oem) 35> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNING EXTRACT RUNNING EORA_1 00:00:00 00:00:03 ...原创 2020-11-03 14:47:57 · 1249 阅读 · 0 评论 -
oracle19c初始化同步到pg12--PostgreSQL目标端配置(1)
jycdb=> \dt List of relationsSchema | Name | Type | Owner --------+----------+-------+----------public | test | table | jycpublic | user_tbl | table | postgres(2 rows)jycdb=> \l List o...原创 2020-10-30 15:25:36 · 1129 阅读 · 0 评论 -
Can GoldenGate Replicate An Oracle Table That Contains Only CLOB Column(s)? (Doc ID 971833.1)
Oracle GoldenGate - Version 4.0.0 and laterInformation in this document applies to any platform.SOLUTIONQuestionCan GoldenGate replicate an Oracle table that contains only CLOB columns?AnswerTo ensure Data Integrity when performing Update and De.转载 2020-10-24 21:56:07 · 440 阅读 · 0 评论 -
ogg同步db2到oracle-软件安装(1)
GoldenGate迁移主要参考如下步骤:源端和目标端服务器环境调研:包括操作系统、数据库版本、CPU、内存等磁盘目录空间等,准备相应兼容版本ogg软件等。 源端配置MGR、Initial-Load、CDC抽取和传送进程,不启动 目标端配置Direct Load复制进程、CDC复制进程(不启动)和检查点表 源端开始初始化进程:先启动CDC抽取进程,再启动Initial-Load进程 目标端和源端确认Initial-Load结束。 等待初始环境完成自动关闭后,目标端启动 CDC 复制进程 等.原创 2020-10-23 21:12:03 · 921 阅读 · 0 评论 -
ogg同步db2到oracle--Direct Initial load(2)
源端db2 redhat6+ogg12.3.0.1.2目标端oracle 19c centos7.7+ogg19.1.0.0.41.源端:1.1建表CREATE TABLE FUND_DAILY ( ID BIGINT NOT NULL, ACCOUNT_NO VARCHAR(32), CREATED_TIME TIMESTAMP, FUND_CODE VARCHAR(8), SHARE_HOLDING原创 2020-10-23 13:49:32 · 570 阅读 · 0 评论 -
HANDLECOLLISIONS 只在有PK或唯一索引的表上有效,如果是没有唯一键的表,则可能造成重复记录
HANDLECOLLISIONS在官方文档上的说明:使用HANDLECOLLISIONS和NOHANDLECOLLISIONS参数来控制在目标上应用SQL时,Replicat是否尝试解决重复记录和缺少记录的错误。事实是,HANDLECOLLISIONS经常被烂用。为了省事,许多运维人员,经常在目标端投递出问题时,直接在目标端进程上配置HANDLECOLLISIONS,然后进程就会启动并继续执行,但这样做只会掩盖问题,并且随着时间的迁移,问题越积越深,最终发现目标端的数据与源端相差很远。所以...转载 2020-10-22 14:25:57 · 630 阅读 · 0 评论