OGG工作原理及一些配置说明

最新推荐文章于 2024-04-15 10:39:49 发布

cjh81378066

最新推荐文章于 2024-04-15 10:39:49 发布

阅读量1.1k

点赞数

文章标签： java 数据库

GoldenGate的数据集成技术实施主要含三个主要进程：

1. 数据抽取进程

该进程一般部署在源系统数据库所在的服务器上，如果源系统有standby系统，有时也可以部署在standby系统上（当源系统不允许部署时），goldengate可以通过读取分析数据库的在线日志或者归档日志将变化数据取出，存储到一个队列文件中，该文件根据系统配置的不同，可以在源，也可以在目标，或者两边都有，一般建议在源上一个，目标上一个，具体原因以后我们再分析。goldengate当然也可以通过trigger的方式获得变化数据，但如果通过trigger，就和其它工具没啥分别了，我自己也可以通过trigger写个程序抓变化数据，目前Goldengate支持通过日志抓取变化数据的数据库包括：

Oracle,DB2(包括开放系统和大机),sqlserver,Sybase,Ingres，当然Goldengate也提供了一套API对用户开放，用户可以自己负责抓取，然后通过Goldengate进行数据同步。

2. 传输进程

该进程一般在源数据库所在的服务器上，负责将源数据库数据抽取进程分析出的变化数据从队列文件中取出，复制到远程目标数据库的队列文件，在传输的过程中，该进程可以对数据进行压缩，加密（视客户的要求而定，毕竟压缩，加密，再解开很浪费时间）。如果进行一对多的数据分发，传输进程可以配置多个，如下图：

3. 应用进程

也叫replicate进程，它部署在目标服务器上，从目标服务器的队列文件中读取变化数据，然后写入目标数据库。

一般常用的进程组：

在源端：mgr进程，extract抽取进程，extract传输进程

在目标端：mgr进程，replicat进程

ggsci查看各进程是否正常的命令

ggsci>status mgr

ggsci>status *

ggsci>info mgr

ggsci>info all

edit params 配置文件中的各项说明为：

Extract :指定extract的名字

SETENV():指定该extract启动时oracle相关的环境变量.

Userid , password :连接到源数据库的用户

Report：指定每天在日志中产生报告的时间

Reportrollover：指定每天汇报队列文件切换报告的时间

Gettruncates：告诉extract对truncate操作也要捕获

Warnlongtrans：超过个小时的交易为长交易，要在goldengate日志中进行记录，检查时间为指定的checkinterval。

Tranlogoptions：针对源数据库的一些配置选项，如数据库归档的位置等等，例如一些例子中的值是指当源和目标数据库字符集不一致，而且传输包含clob字段时，需要对clob中的字符集进行转换。

Fetchoptions：指定当从源数据库抓取数据时的一些选项，例如一些例子指不从undo tablespace取数据，而是从表里直接抽取。

Exttrail：本地队列文件，extract将数据从数据库日志抓取后存放在该队列文件。（抽取进程写这些文件，传输进程读取这些文件）

Discardfile：指定丢弃数据的存放位置。

Dynamicresolution：指定当extract从日志抓取变化数据时，根据当前的需要，动态解析表名，从而加快抓取进程的启动速度。

Table .:指定要从源系统抓取那些表的数据，这里schema不能用通配符，table_name可以用通配符。

Passthru：表示传输进程在传输的过程中只负责文件传输，不进行任何转化。

Rmthost: 目标端的机器IP地址或者主机名称。

Mgrport：目标端goldengate 管理进程manager运行的端口号。

Rmttrail：当传输进程将队列文件传输的目标端后放置的目录和队列文件。

已经实验过EXTRACT抽取进程配置EXTTRAIL ./dirdat/tt，EXTRACT传输进程配置RMTTRAIL ./dirdat/cs，replicat进程没有配置文件信息，实验中发现会在源生成./dirdat/tt，目标生成./dirdat/cs，为什么目标的replicat进程会默认去读Opening ./dirdat/cs000000 (byte -1, current EOF 0).原因是不管配置文件里面怎么写的，还有一段