OGG(oracle goldengate)实现oracle到oracle数据实时同步

最新推荐文章于 2024-05-16 11:10:43 发布

落俗zp

最新推荐文章于 2024-05-16 11:10:43 发布

阅读量6.2k

点赞数 3

分类专栏： Oracle GoldenGate安装使用

本文链接：https://blog.csdn.net/weixin_41229271/article/details/101196319

版权

Oracle GoldenGate安装使用专栏收录该内容

5 篇文章 1 订阅

订阅专栏

源端配置

数据库起归档

此文档源端目标端都是oracle 11g

#备份
    SQL> create pfile='/app/oracle/init_orcldb20190923.ora' from spfile;
#开启ORACLE归档模式，设置日志模式
	SQL> shutdown immediate;
	SQL> startup mount;
#集群的话，实例在每个节点都要是mount状态
	SQL> alter database archivelog;
	SQL> alter database force logging;
	SQL> alter database add supplemental log data;
	SQL> alter database open;
#设置源上的数据库的FORCE LOGGING
	FORCE LOGGING：简言之，强制记录日志，即对数据库中的所有操作都产生日志信息，并将该信息写入到联机重做日志文件。
    SQL> select force_logging from v$database;
	FOR
	---
	NO
	SQL> ALTER DATABASE FORCE LOGGING;
	数据库已更改。
	SQL> select force_logging from v$database;
	FOR
	---
	YES
#切换日志，使更改生效
	SQL> alter system switch logfile;
	系统已更改。
#打开数据库级别的补充日志（supplemental Log)
	SQL> select supplemental_log_data_min from v$database;
	SUPPLEME
	--------
	NO
	SQL> alter database add supplemental log data;
	数据库已更改。
	SQL> select supplemental_log_data_min from v$database;
	SUPPLEME
	--------
	YES
	数据库已更改。
#回收站功能会影响同步，需要关闭回收站
	SQL>alter session set recyclebin=off;
	SQL>alter system set recyclebin=off DEFERRED;

安装OGG

见另一篇：https://blog.csdn.net/weixin_41229271/article/details/98888847

创建ogg管理用户

在源端对应数据库实例下创建ogg管理用户

create user ggs identified by 123456 default tablespace oggtbs;
grant connect,resource,unlimited tablespace to ggs;
grant execute on utl_file to ggs;
grant select any dictionary,select any table to ggs;
grant alter any table to ggs;
grant flashback any table to ggs;
grant execute on DBMS_FLASHBACK to ggs;
grant EXEMPT ACCESS POLICY to ggs; 
grant dba to ggs;
exec dbms_goldengate_auth.grant_admin_privilege('ggs');

   进入ogg控制台，测试用户是否创建成功
   [oracle@source ~]$ cd /mis_databak/bak/oggs/
   [oracle@source oggs]$ ./ggsci
   GGSCI (source ) 2> dblogin userid ggs,password 123456
   Successfully logged into database.

配置OGG

添加附加日志

添加所需同步的表的附加日志，示例

GGSCI (source ) 2>ADD TRANDATA USERNAME.TABLE_NAME

添加checkpoint

GGSCI (source) 2> dblogin userid ggs,password 123456

#添加GoldenGate的checkpoint表
GGSCI (source) 4> edit PARAMS GLOBALS

MGRSERVNAME GGMGR
checkpointtable ggs.checkpoint

GGSCI (source) 4> add checkpointtable ggs.checkpoint

Successfully created checkpoint table ggs.checkpoint.

管理进程配置

GGSCI (source) 3> edit param mgr
#端口号
PORT 7809
#允许端口范围
DYNAMICPORTLIST 7801-8200
#自启抽取进程
AUTOSTART ER *
#重启抽取进程，每三分钟一个 重复五次
AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
#删除超过三天的处理过的投递文件
PURGEOLDEXTRACTS /ggs/dirdat/*,usecheckpoints, minkeepdays 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45

GGSCI (source) 3> start mgr

抽取进程配置

GGSCI (source) 9> edit param EX_TEST

extract EX_TEST
DYNAMICRESOLUTION
SETENV (ORACLE_SID="ORCL1")
SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)
USERID ggs, password 123456
REPORT AT 01:59
REPORTROLLOVER AT 02:00
CACHEMGR, CACHESIZE 256MB
DBOPTIONS  ALLOWUNUSEDCOLUMN
WARNLONGTRANS 3h,CHECKINTERVAL 5m
EXTTRAIL ./dirdat/eh
NUMFILES 6000
EOFDELAYCSECS 30
GETTRUNCATES
TRANLOGOPTIONS DBLOGREADER
TRANLOGOPTIONS DBLOGREADERBUFSIZE 1048576 
BR BRINTERVAL 2H , BRDIR BR
GETUPDATEBEFORES
NOCOMPRESSDELETES
#按表同步
#TABLE USERNAME.TABLENAME;
#按用户同步
#排除用户下某一张表
#TABLEEXCLUDE USERNAME.TABLE1;
#同步用户下的所有表
TABLE USERNAME.*;

GGSCI (source) 5> view params EX_TEST

增加一个抽取进程EX_HJ_G，名字可以根据需要修改
	GGSCI (source) 6> add extract EX_TEST,tranlog,THREADS 2, begin now
EXTRACT added.

将EX_EMP抽取的源数据变更数据trail写到该文件夹
	GGSCI (source) 7> add exttrail ./dirdat/eh,extract EX_TEST
EXTTRAIL added.

投递进程配置

GGSCI (source) 8> edit params PM_TEST

extract PM_TEST
SETENV (ORACLE_SID="ORCL1")
SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)
USERID ggs, password 123456
REPORT AT 01:59
REPORTROLLOVER AT 02:00
CACHEMGR, CACHESIZE 256MB
FLUSHCSECS 30
NUMFILES 6000
EOFDELAYCSECS 30
#目标端ip地址
RMTHOST 192.168.1.1,MGRPORT 7809, TCPBUFSIZE 100000, TCPFLUSHBYTES 300000
RMTTRAIL /ggt/dirdat/ph
GETTRUNCATES
PASSTHRU
DYNAMICRESOLUTION
GETUPDATEBEFORES
NOCOMPRESSDELETES
#按表同步
#TABLE USERNAME.TABLENAME;
#按用户同步
#排除用户下某一张表
#TABLEEXCLUDE USERNAME.TABLE1;
#同步用户下的所有表
TABLE USERNAME.*;

GGSCI (source) 9> view params PM_TEST

GGSCI (source) 10> add extract PM_TEST,exttrailsource ./dirdat/eh
EXTRACT added.

GGSCI (source) 11> add rmttrail /ggt/dirdat/ph,extract PM_TEST
RMTTRAIL added.

目标端配置

安装OGG

见另一篇：https://blog.csdn.net/weixin_41229271/article/details/98888847

创建ogg管理用户

在目标端对应数据库实例下创建ogg管理用户

create user ggt identified by 123456 default tablespace oggtbs;
grant connect,resource,unlimited tablespace to ggt;
grant execute on utl_file to ggt;
grant select any dictionary,select any table to ggt;
grant alter any table to ggt;
grant flashback any table to ggt;
grant execute on DBMS_FLASHBACK to ggt;
grant EXEMPT ACCESS POLICY to ggt; 
grant dba to ggt;
exec dbms_goldengate_auth.grant_admin_privilege('ggt');

   进入ogg控制台，测试用户是否创建成功
   [oracle@target~]$ cd /mis_databak/bak/oggs/
   [oracle@target oggt]$ ./ggsci
   GGSCI (target) 2> dblogin userid ggt,password 123456
   Successfully logged into database.

配置OGG

添加checkpoint

GGSCI (target) 1> dblogin userid ggt,password 123456
Successfully logged into database.

GGSCI (target) 2> edit PARAMS GLOBALS

MGRSERVNAME GGMGR
checkpointtable ggt.checkpoint

GGSCI (target) 4> add checkpointtable ggt.checkpoint

Successfully created checkpoint table ggt.checkpoint.

管理进程配置

GGSCI (target) 5> edit param mgr
PORT 7809
DYNAMICPORTLIST 7801-8200
AUTOSTART REPLICAT *
AUTORESTART REPLICAT *,RETRIES 5,WAITMINUTES 3
PURGEOLDEXTRACTS /ggt/dirdat/*,usecheckpoints, minkeepdays 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45

GGSCI (target) 7> start mgr

Manager started.

源端启动进程

在源端启动抽取进程和投递进程，开始向目标端正常投递日志文件。

初始化目标端数据

注：本文档基于真实环境进行配置操作，目标端数据初始化使用impdp数据浆泵根据scn号导出数据，然后在目标端导入。仅测试几张表的话，在源端和目标端分别创建即可。

#查询SCN号
select current_scn from v$database;
16543601519172
#源端导出数据
expdp system/123456@orcl1 cluster=no parallel=6 filesize=20G dumpfile=orcl1_db_20190923_%U.dmp logfile=orcl1_db_20190923.log SCHEMAS=USERNAME compression=ALL  flashback_scn=16543601519172
#目标端导入数据
impdp system/123456@target directory=DATA_PUMP cluster=no parallel=6 dumpfile=orcl1_db_20190923_%U.dmp logfile=imp_orcl1_db_20190923.log SCHEMAS=USERNAME DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS

应用进程配置

GGSCI (target) 4> edit param RE_TEST

replicat RE_TEST
DYNAMICRESOLUTION
SETENV (ORACLE_SID="orcl2")
SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)
USERID ggt, password 123456
REPORT AT 01:59
REPORTROLLOVER AT 02:00
CACHEMGR, CACHESIZE 256MB
REPERROR DEFAULT,ABEND
DISCARDFILE ./dirrpt/RE_TEST.dsc,APPEND,MEGABYTES 10
DISCARDROLLOVER AT 06:00
GETTRUNCATES
NUMFILES 5000
EOFDELAYCSECS 30
ASSUMETARGETDEFS
ALLOWNOOPUPDATES
GETUPDATEBEFORES
#map后为源端用户名表名，target后为目标端对应用户名表名
map USERNAME.*, target USERNAME.*;

GGSCI (target) 8> view param RE_TEST

GGSCI (target) 9> add replicat RE_TEST, exttrail /ggt/dirdat/ph,CHECKPOINTTABLE ggt.checkpoint
REPLICAT added.

启动目标端应用进程

在数据初始化完成之后，根据数据导出时的scn号启动应用进程

start RE_TEST aftercsn 16543601519172

配置完成。

落俗zp

关注

3
点赞
踩
33

收藏

觉得还不错? 一键收藏
2
评论
OGG(oracle goldengate)实现oracle到oracle数据实时同步

目录源端配置数据库起归档安装OGG创建ogg管理用户配置OGG添加附加日志添加checkpoint管理进程配置抽取进程配置投递进程配置目标端配置安装OGG创建ogg管理用户配置OGG添加checkpoint管理进程配置源端启动进程初始化目标端数据应用进程配置启动目标端应用进程源端配置数据库起归档此文档源端目...
复制链接

扫一扫