OGG19 Oracle之间的同步(经典架构)

已于 2024-02-26 21:12:50 修改
阅读量457 收藏 3
点赞数 1
分类专栏： Oracle 文章标签： oracle 数据库 etl
于 2023-04-22 22:15:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41450814/article/details/130310747
版权

文章内容仅供参考

环境

概况

源端

目标端

OS

Oracle Linux 7.4

kernal

4.1.12-94.3.9.el7uek.x86_64

数据库版本

Oracle19c

OGG版本

OGG 19.1.0 for Oracle

OGG安装目录

/u01/app/ogg/gg

OGG管理员名称(数据库)

C##GGADMIN

OGG目录及权限

oracle:oinstall

主机名

src.e.cc

dest.e.cc

ip地址

10.0.0.131

10.0.0.141

数据库名

CDB: SRC   PDB: P1

CDB: DEST   PDB: P1

要同步的表

P1.TOM.T1

P1.Jerry.T1

数据

源端

TOM用户T1表有五条数据, C1列是主键

目标端

Jerry用户T1表没有数据，只有表结构。

配置好OS和数据库

两端都要配:

环境变量：

vi .bash_profile
#添加
export OGG_HOME=/u01/app/ogg/gg
export PATH=$OGG_HOME:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$OGG_HOME:$LD_LIBRARY_PATH

修改数据库: 

alter database force logging;
alter database add supplemental log data;
alter system switch logfile;
alter system set enable_goldengate_replication=true;
alter system set undo_management=auto scope=spfile;
-- 重启数据库

创建ogg管理员用户(CDB)

create user C##GGADMIN identified by pwd account unlock container=all;

授予权限:

grant unlimited tablespace to C##GGADMIN container=all;

grant create session, resource, unlimited tablespace to C##GGADMIN container=all;

grant alter system, alter user, restricted session, create sequence to C##GGADMIN container=all;

grant select any dictionary, select any transaction to C##GGADMIN container=all;

grant select any table, lock any table, insert any table, update any table to C##GGADMIN container=all;

grant create any table,alter any table,drop any table,flashback any table to C##GGADMIN container=all;

grant execute on utl_file to C##GGADMIN container=all;

grant dba to C##GGADMIN container=all;

begin
dbms_goldengate_auth.grant_admin_privilege(
grantee => 'C##GGADMIN',
privilege_type => '*',
grant_select_privileges => true,
do_grants => true,
grant_optional_privileges => '*',
container => 'all'); 
end;
/

-- privilege_type有三个值：capture, apply, *

 源端可以指定为captrue

目标端可以指定为apply

嫌麻烦就直接*

源端

创建需要用到的目录:

mkdir -p $OGG_HOME/dirdat/E_TJ_T1
mkdir -p $OGG_HOME/dirrpt/E_TJ_T1
mkdir -p $OGG_HOME/dirdat/P_TJ_T1
mkdir -p $OGG_HOME/dirrpt/P_TJ_T1

一定要仔细检查目录名，不能用丝毫的错误

创建ogg专用专属表空间：

--(CDB) 
create tablespace ggtbs datafile '/u01/app/oracle/oradata/SRC/ggtbs.dbf' size 50M autoextend on;
alter session set container=P1;
--(PDB) 
create tablespace ggtbs datafile '/u01/app/oracle/oradata/SRC/P1/ggtbs.dbf' size 50M autoextend on;

更改C##GGADMIN用户默认表空间

alter session set container=CDB$ROOT;
alter user C##GGADMIN default tablespace ggtbs;

目标端

创建需要用到的目录:

mkdir -p $OGG_HOME/dirdat/R_TJ_T1
mkdir -p $OGG_HOME/dirrpt/R_TJ_T1

创建ogg专用专属表空间：

--(CDB) 
create tablespace ggtbs datafile '/u01/app/oracle/oradata/DEST/ggtbs.dbf' size 50M autoextend on;
alter session set container=P1;
--(PDB) 
create tablespace ggtbs datafile '/u01/app/oracle/oradata/DEST/P1/ggtbs.dbf' size 50M autoextend on;

更改C##GGADMIN用户默认表空间

alter session set container=CDB$ROOT;
alter user C##GGADMIN default tablespace ggtbs;

准备OGG

一定要进到$OGG_HOME目录下操作(以免出错)

源端

别名

#设置一个别名oggadmin, 避免使用明文密码
ggsci > add credentialstore
ggsci > alter credentialstore add user C##GGADMIN@SRC , password pwd , alias oggadmin

#credentialstore存放在$OGG_HOME/dircrd下

#登录
ggsci > dblogin useridalias oggadmin

mgr进程

ggsci > edit params mgr
#内容如下:(删除这个注释)
port 7809
autostart er *
autorestart er *,waitminutes 3,retries 10
purgeoldextracts ./dirdat/*,usecheckpoints,minkeepdays 7

checkpoint table

注意: 这个GLOBALS要建在$OGG_HOME下(OGG安装目录)

ggsci > edit params ./GLOBALS
checkpointtable P1.C##GGADMIN.ckptt

ggsci > add checkpointtable P1.C##GGADMIN.ckptt

目标端

与源端基本一致

到$OGG_HOME目录下操作(以免出错)

别名

#设置一个别名oggadmin, 尽量避免使用明文密码
ggsci > add credentialstore
ggsci > alter credentialstore add user C##GGADMIN@DEST , password pwd , alias oggadmin
ggsci > alter credentialstore add user C##GGADMIN@P1, password pwd , alias ogg_p1_apply

#credentialstore存放在$OGG_HOME/dircrd下

 登录

ggsci > dblogin useridalias oggadmin

mgr进程

ggsci > edit params mgr
#内容如下:(删除这个注释)
port 7809
autostart er *
autorestart er *,waitminutes 3,retries 10
purgeoldextracts ./dirdat/*,usecheckpoints,minkeepdays 7

checkpoint table

注意: 这个GLOBALS要建在$OGG_HOME下(OGG安装目录)

ggsci > edit params ./GLOBALS
checkpointtable P1.C##GGADMIN.ckptt

ggsci > add checkpointtable P1.C##GGADMIN.ckptt

初始化数据

源端

创建需要用到的目录

mkdir -p $OGG_HOME/dirdat/i_TJ_T1

extract进程

到$OGG_HOME目录下操作(以免出错)

ggsci > edit params ie_TJ_T1
#内容如下:(删除这个注释)
extract ie_TJ_T1
useridalias oggadmin
rmthost 10.0.0.141,mgrport 7809
rmtfile ./dirdat/i_TJ_T1/init.dat,purge
table P1.TOM.T1;

 初始化数据要用到sourceistable这个参数:

ggsci > add extract ie_TJ_T1,sourceistable
ggsci > register extract e_TJ_T1 database container(P1)

先不要启动

目标端

创建需要用到的目录

mkdir -p $OGG_HOME/dirdat/i_TJ_T1

replicat进程

初始化数据时, 目标端要用到specialrun参数, 并且一定要写在第一行

ggsci > edit params ir_TJ_T1
#内容如下:(删除这个注释)
specialrun
replicat ir_TJ_T1
useridalias ogg_p1_apply
handlecollisions
extfile ./dirdat/i_TJ_T1/init.dat
table P1.TOM.T1, target P1.Jerry.T1;

ggsci > add replicat ir_TJ_T1 exttrail ./dirdat/i_TJ_T1/re, specialrun

启动

先在源端启动:

ggsci > start ie_TJ_T1

然后在目标端启动:

ggsci > start ir_TJ_T1

配置同步(重点来了)

源端

创建需要用到的目录

mkdir -p $OGG_HOME/dirdat/e_TJ_T1
mkdir -p $OGG_HOME/dirrpt/e_TJ_T1
mkdir -p $OGG_HOME/dirdat/r_TJ_T1
mkdir -p $OGG_HOME/dirrpt/r_TJ_T1

一定要仔细检查, 不能有丝毫差错

到$OGG_HOME目录下操作(以免出错)

add trandata

格式:

ggsci > add schematrandata PDB.schema

ggsci > add trandata PDB.schema.table
ggsci > add trandata P1.TOM.T1

extract进程

ggsci > edit params e_TJ_T1
#内容如下:(删除这个注释)
extract e_TJ_T1
useridalias oggadmin
exttrail ./dirdat/e_TJ_T1/ex
warnlongtrans 12h,checkinterval 30m
discardfile ./dirrpt/e_TJ_T1.dsc,append,megabytes 200
TABLE P1.TOM.T1;

ggsci > add extract e_TJ_T1,integrated tranlog,begin now
ggsci > add exttrail ./dirdat/e_TJ_T1/ex,extract e_TJ_T1,megabytes 200
ggsci > dblogin useridalias oggadmin
ggsci > register extract e_TJ_T1 database container(P1)

pump进程

ggsci > edit params p_TJ_T1
extract p_TJ_T1
useridalias oggadmin
PASSTHRU
RMTHOST 10.0.0.141,MGRPORT 7809
rmttrail ./dirdat/r_TJ_T1/re
discardfile ./dirrpt/r_TJ_T1.dsc,append,megabytes 200
TABLE P1.TOM.T1;

ggsci > add extract p_TJ_T1,exttrailsource ./dirdat/e_TJ_T1/ex
ggsci > add rmttrail ./dirdat/r_TJ_T1/re,extract p_TJ_T1,megabytes 200

先不要启动

目标端

创建需要用到的目录

mkdir -p $OGG_HOME/dirdat/r_TJ_T1
mkdir -p $OGG_HOME/dirrpt/r_TJ_T1

replicat进程

ggsci > edit params r_TJ_T1
#内容如下:(删除这个注释)
replicat r_TJ_T1
useridalias ogg_p1_apply
handlecollisions
assumetargetdefs
discardfile ./dirrpt/r_TJ_T1.dsc,append,megabytes 200
map P1.TOM.T1,target P1.Jerry.T1;

ggsci > add replicat r_TJ_T1 exttrail ./dirdat/r_TJ_T1/re,checkpointtable P1.C##GGADMIN.ckptt

先在目标端启动replicat进程

ggsci > dblogin useridalias oggadmin

ggsci > start r_TJ_T1

源端启动pump和extract进程

ggsci > start p_TJ_T1
ggsci > start e_TJ_T1

DDL应用

marker_setup.sql

这个脚本在$OGG_HOME目录下

源端和目标端都执行一下即可:

 源端extract进程:

ggsci > edit params e_TJ_T1
#添加以下两行
DDL include all
ddloptions addtrandata,report

目标端replicat进程:

ggsci > edit params r_TJ_T1
#添加以下两行
DDL include all
ddlerror default ignore retryop

启动及查看命令

查看(例)

info all

info e_TJ_T1

info e_TJ_T1 detail

view report e_TJ_T1

启动(例)

start manager

start e_TJ_T1

关闭(例)

stop manager

stop e_TJ_T1

添加/删除

add / delete

牧童童童
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ogg之ddl配置
Scofy_Pei的专栏
12-10 4273
源端： SQL> GRANT EXECUTE ON utl_file TO scofy; SQL> GRANT CREATE TABLE,CREATE SEQUENCE TO scofy; SQL> alter system set recyclebin=off scope=spfile; SQL> @marker_setup.sql Marker setup script
GoldenGate 12c 新特性 Credential Store and USERIDALIAS
weixin_33878457的博客
05-26 111
GoldenGate 12C的Credential Store and USERIDALIAS新特性有点类似存储钱夹，提高了配置的易用性和安全性。 --生成credentialstore文件 GGSCI (XQZT-PC) 1> add credentialstore Credential store created in .\dircrd\. --创建别名 G...
OGG管理-ddl复制
oradbm的博客
01-16 796
一. 概述 DDL 相关的参数包括：DDL、DDLERROR、DDLOPTIONS、DDLSUBST、DDLTABLE、GGSCHEMA、 PURGEDDLHISTORY、PURGEMARKERHISTORY。 在 extract 里，默认是不支持 DDL 的抽取的，需要通过配置 DDL 参数来开启； 在 replicat 里，默认是支持 DDL 的抽取，并且会处理 trail 里存在的全部 D...
oracle 19c ogg,Oracle 19C OGG基础运维-03DML操作同步
weixin_32018379的博客
04-08 913
Oracle 19C OGG基础运维-03DML操作同步一 源端和目标端配置OGG检查点二 源端和目标端配置MGR三 源端：配置抽取进程ext_01四 源端：配置投递进程pump_01五 目标端：配置应用进程rep_0l六 启动进程七 DML(insert,update,delete)操作同步测试源端：补充日志GGSCI (cjcos01) 1> dblogin userid c##ogg@...
Oracle GoldenGate 详解
weixin_33970449的博客
05-03 697
一、Oracle GoldenGate介绍 　　GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 1、应用场景 1)高可用容灾 2)数据库迁移、升级（支持跨版本、异构数据库、零宕机时间、亚秒级恢复） 3)实时数据集成（支持异构数据库、多源数据库） 2、...
ogg 运维命令
weixin_43564627的博客
06-08 1576
ogg 运维命令 -管理进程命令 INFO MANAGER 返回有关管理器端口和进程id的信息。 START MANAGER 开启管理进程 STATUS MANAGER 返回管理进程状态 STOP MANAGER 停止管理进程 --采集进程命令 ADD EXTRACT 添加一个采集组 ALTER EXTRACT 更改采集组的属性 CLE
Oracle 19c 19.1.0.4+ogg搭建完美手册
08-13
Oracle 19c 19.1.0.4+ogg搭建完美手册
Oracle OGG安装部署细说：Windows同步到Linux
最新发布
02-02
Oracle OGG安装部署细说：Windows同步到Linux
Win10环境下ogg单向同步MySQL到Oracle追加同步表技术
12-19
Win10环境下ogg单向同步MySQL到Oraclehe追加同步表技术
Oracle OGG同步搭建.pdf
08-11
oracle OGG服务搭建
OGG配置DDL数据同步
04-11
通过ogg DDL 配置，实现源端到目标端数据，表结构，序列等对象的同步。也可以配置指定的对象，如只监控指定的表或其他对象。
OGG19C独立服务器远程捕捉投递同步
JangBingYang的博客
08-21 1308
ogg独立服务器部署远程抽取投递。 ogg所有脚本在OGG 安装目录下(源端安装即可，若为容器，需要在容器下执行，若为19c,只需执行marker_setup.sql)若为容器数据库，以下命令需在容器库下执行，创建表空间及用户（源端需在容器下执行，目标端可在对应pdb下执行）
oracle补充数据replicate,oracle 11g goldengate DML单向复制测试环境搭建
weixin_32307021的博客
04-08 286
一.安装条件1.前提条件：1).源、目标Oracle数据库监听启动2).gg安装目录为/u01/app/ogg3).被复制表必须存在主键4).进程配置的抽取日志目录是否有效，如果进程配置正确，目录不一致很可能导致复制不成功5).操作系统rhel5.4X64(2.6.18-164.el5)LANG=en_US.UTF-8数据库软件Oracle11.2.0.3.0_X64DatabaseLan...
ORACLE GOLDENGATE报错问题汇总
ogg2kafka的博客
10-26 4531
OGG报错问题汇总 1.源端抽取进程ext1无法启动： OGG-00446：error 2 (No such file or directory) opening redo log +DATA_DG/cspt….dbf for sequence 12Not able to establish initial position for begin time 2017-08-24 15:07:04. Cause：源端数据库是asm自动存储管理 Solution：Select name,state from v$
Oracle怎么查表的ogg,使用ogg实现oracle到postgresql表的实时同步
weixin_42386504的博客
04-02 733
环境：oracle 11.2.0.4+centos6.9postgresql10.6+centos6.91.下载OGG下载安装包如下：122022_ggs_Linux_x64_PostgreSQL_64bit.zipV861007-01.zip2.源端(oracle)ogg安装$ cd /data/$mkdirogg$ cd/data/software$unzip V861007-01.Zip$ ...
【跟我学ogg12.3.0.1】第二节【Oracle GoldenGate之Oracle篇】3 建立Oracle GoldenGate证书
viviliving的专栏
10-30 904
3Establishing Oracle GoldenGate Credentials 了解如何为与数据库交互的进程创建数据库用户，分配正确的权限，并保护凭证不被未授权使用。 Topics 为Oracle GoldenGate分配凭证 对于您正在使用的数据库版本、数据库配置和Oracle GoldenGate特性，Oracle GoldenGate进程需要一个或多个具有正确数据库特权的数...
使用空密码的本地帐户只允许进行控制台登陆_使用Oracle GoldenGate Marketplace实现数据快速同步ADW...
weixin_39982933的博客
12-06 174
Oracle GoldenGate 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。GOLDENGATE 19.1 ON MARKETPLACE功能Oracle GoldenGate for Oracle 19.1微服务版包括对Oracle数据库版本11g，12c，...
Oracle 迁移 PostgreSQL 中的OGG配置
howard_shooter的博客
03-30 1711
需求场景： 将整个Oracle数据库迁移到PostgreSQL，要求Oracle停机时间不超过12小时，而Oracle的数据量为200G左右，全量导出再导入PostgreSQL超过12小时。 对于这种情况，应使用ora2pg做全量，配合OracleGoldenGate(OGG)做增量。方法是：导出全量数据之前，Oracle用OGG捕获增量数据，这样在导出全量数据的时间段内的增量数据也被捕获下来，然后向PG导入全量数据，再用OGG向PG同步增量数据。这个过程中，会有一部分增量数据和全量数据重叠，但OGG可
Oracle Glodengate管理-Oracle19C RAC 搭建OGG聚合模式同步数据到11.2.0.4
oradbm的博客
02-01 1447
-//检查发现extract名字有问题，刚开始注册的时候是EXTORA，抽取进程为exint，重新注册为exint(所以注册的名字要和抽取的名字一致)原文链接：https://blog.csdn.net/m15217321304/article/details/112276914。--//exttrailsource的内容就是exint抽取进程的exttrail /ogg/ogg/trails/w1。--//报错的意思就是需要创建一个全局用户，就是c##开头的，跨所有PDB的。
ogg同步Kafka到oracle,ORACLE OGG同步到KAFKA
06-01
实现OGG同步Kafka到Oracle的步骤如下： 1. 首先需要安装并配置OGG环境，并确保OGG版本支持Kafka数据源。 2. 创建OGG的抽取进程，设置数据源为Kafka，指定需要同步的topic和partition等信息。 3. 创建OGG的传输进程，设置目标为Oracle数据库，指定需要同步到的表和字段等信息。 4. 配置OGG的参数文件，指定抽取进程和传输进程的相关配置信息。 5. 启动OGG的抽取进程和传输进程，开始同步数据。 实现ORACLE OGG同步到KAFKA的步骤如下： 1. 首先需要安装并配置OGG环境，并确保OGG版本支持Kafka数据目标。 2. 创建OGG的抽取进程，设置数据源为Oracle数据库，指定需要同步的表和字段等信息。 3. 创建OGG的传输进程，设置目标为Kafka，指定需要同步到的topic和partition等信息。 4. 配置OGG的参数文件，指定抽取进程和传输进程的相关配置信息。 5. 启动OGG的抽取进程和传输进程，开始同步数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值