大数据-玩转数据-Oracle GoldenGate（OGG）

前言

Oracle GoldenGate，简称OGG，是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle GoldenGate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。(Oracle goldengate快速入门篇(详解goldengate概念到原理))

1. OGG简介

OGG 它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右）
OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。

2. 应用场景

• 高可用容灾
• 数据库迁移、升级（支持跨版本、异构数据库、零宕机时间、亚秒级恢复）
• 实时数据集成（支持异构数据库、多源数据库）
  -

3.基本原理

基于日志捕获技术的实时增量数据集成

Oracle GoldenGate 数据复制过程如下：

• 利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive
  Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作
• 将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中
• 再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。
• 目标端有一个进程叫Server Collector，这个进程接受了从源端传输过来的数据变化信息
• 把信息缓存到GoldenGate 队列文件(trail file)当中，等待目标端的复制进程读取数据。
• GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息，并创建对应的SQL语句，通过数据库的本地接口执行，提交到目标端数据库，提交成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。

4. 基本架构

Oracle GoldenGate主要由如下组件组成

组件	说明
Manager	不管是源端还是目标端必须并且只能有一个,Manager进程，可以启动、关闭、监控其他进程的健康状态，报告错误事件、分配数据存储空间，发布阀值报告等，其作用：1：监控与启动 GoldenGate 的其它进程,2：管理 trail 文件及 Reporting
Extract	Extract 进程运行在数据库源端上，它是Golden Gate的捕获机制，可以配置Extract 进程来做如下工作：1：初始数据装载：对于初始数据装载，Extract 进程直接从源对象中提取数据,2：同步变化捕获：保持源数据与其它数据集的同步。初始数据同步完成后，Extract 进程捕获源数据的变化；如DML变化、 DDL变化等
Replicat	Replicat 进程是运行在目标端系统的一个进程，负责读取 Extract 进程提取到的数据（变更的事务或 DDL 变化）并应用到目标数据库，就像 Extract 进程一样，也可以配置 Replicat 进程来完成如下工作：1：初始化数据装载：对于初始化数据装载，Replicat 进程应用数据到目标对象或者路由它们到一个高速的 Bulk-load 工具上；2：数据同步，将 Extract 进程捕获到的提交了的事务应用到目标数据库中；
Collector	Collector 是运行在目标端的一个后台进程，接收从 TCP/IP 网络传输过来的数据库变化，并写到 Trail 文件里
Trails	为了持续地提取与复制数据库变化，GoldenGate 将捕获到的数据变化临时存放在磁盘上的一系列文件中，这些文件就叫做 Trail 文件
Data Pumps	Data Pump 是一个配置在源端的辅助的 Extract 机制，Data Pump 是一个可选组件，如果不配置 Data Pump，那么由 Extract 主进程将数据发送到目标端的 Remote Trail 文件中；如果配置了 Data Pump，会由 Data Pump将Extract 主进程写好的本地 Trail 文件通过网络发送到目标端的 Remote Trail 文件中

5. 常用的拓扑结构

• 单向复制：由一个源数据库复制到一个目的数据库，一般用于高可用性和容灾，为生产机保持一个活动的备份数据库，从而在发生灾难的时候迅速切换，减少数据丢失和系统宕机时间；
• 双向复制：利用GoldenGate TDM可以实现两个数据库之间数据的双向复制，任何一方的数据变化都会被传递到另一端，可以利用此模式开展双业务中心；
• 广播复制：由一个数据库向多个数据库复制，利用GoldenGate TDM的数据过滤功能可以实现数据的有选择分发；
• 集中复制：由多个数据库向一个数据库复制，可以将分布的、跨平台或异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式的容灾，通过将多个系统数据库集中到一起，可以充分利用备份中心的设施，大幅减少投资；另外也用于跨平台多系统的数据集成，为这些提供系统提供一个统一视图便于查询和统计数据。
• 多层复制：由A数据库向B复制，同时又由B向C复制，可以在以上几种模式基础上无限制扩展。

由此可见，GoldenGate TDM的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。

6. 支持的环境

源和目标的操作系统和数据库可以进行任意的组合

7. OGG安装部署

注：在Docker环境下，整合Oracle，

主机名	IP	OGG
node1	192.168.88.10	源端
node2	192.168.88.20	目标端

7.1 配置Oracle11gR2数据库

7.1.1 Oracle11gR2打开归档模式

需要切换到oracle用户操作：

su - oracle

因为配置数据库需要在sqlplus中执行，所以使用sysdba用户登录：

sqlplus / as sysdba

验证数据库是否开启自动归档
执行归档查询命令：

archive log list

Automatic archival是Disabled状态，因为Oracle默认是不开启自动归档的

开启自动归档
以DBA的身份连接数据库，执行命令：

conn /as sysdba

关闭数据库，执行命令：

shutdown immediate

启动并装载数据库，但没有打开数据文件，该命令常用来修改数据库运行模式或恢复数据库。执行命令：

startup mount

执行开启归档命令：

alter database archivelog;

执行打开数据库命令：

alter database open;

执行自动归档命令：

alter system archive log start;

验证是否开启自动归档成功
执行归档查询命令：

archive log list

Automatic archival变成了Enabled状态，表示已经开启自动归档成功

7.1.2 Oracle开启辅助日志和补充日志

验证数据库是否开启辅助日志和补充日志
执行SQL语句验证：

select force_logging,supplemental_log_data_min from v$database;

当显示NO的时候表示没有开启，需要调整

• 开启数据库的辅助日志和补充日志 开启强制日志后数据库会记录除临时表空间或临时回滚段外所有的操作，命令：

alter database force logging;

开启辅助日志命令：

alter database add supplemental log data;

开启主键附加日志命令：

alter database add supplemental log data (primary key) columns;

开启全列附加日志命令：

 alter database add supplemental log data (all) columns;

检查数据库是否成功开启辅助日志和补充日志
执行SQL语句验证：

select force_logging,supplemental_log_data_min from v$database;

当显示为YES的时候表示开启成功。

7.2 安装OGG源端

7.2.1 解压和安装OGG源端软件包

1.创建OGG源端的目录,使用root用户创建：

mkdir /u01/app/ogg/src

2.添加OGG源端的目录到oracle用户的环境变量中（需要切换到oracle用户操作）

su - oracle

vim ~/.bash_profile

export OGG_SRC_HOME=/u01/app/ogg/src
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib

source ~/.bash_profile

# 退出oracle用户shell命令：
exit

3.解压OGG源端软件
OGG源端的软件包是V34339-01.zip，存放在/export/softwares/oracle/ogg目录下。需要使用root用户解压

cd /export/softwares/oracle/ogg

创建src文件夹是用来存放解压后的OGG源端软件

mkdir /export/softwares/oracle/ogg/src/

解压OGG源端软件到src文件夹下

unzip /export/softwares/oracle/ogg/V34339-01.zip -d /export/softwares/oracle/ogg/src/

cd /export/softwares/oracle/ogg/src/

fbo_ggs_Linux_x64_ora11g_64bit.tar文件才是OGG源端的软件包，解压该文件到/u01/app/ogg/src目录下，执行命令：

tar -xf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /u01/app/ogg/src

4.配置/u01/app/ogg/src目录及其所有文件的权限
使用root用户执行授权命令：

chown -R oracle:oinstall /u01/app/ogg/src

可以看到/u01/app/ogg/目录下的src属于oracle用户和oinstall组

可以看到/u01/app/ogg/src目录下的所有文件都属于oracle用户和oinstall组

7.2.2 在Oracle中创建OGG相关的用户和表空间

创建表空间在磁盘中的物理路径（需要到root用户操作）

mkdir -p /u01/app/oracle/oggdata/orcl/
chown -R oracle:oinstall /u01/app/oracle/oggdata/orcl

进入sqlplus
切换到oracle用户：

su - oracle

登录sqlplus：

sqlplus / as sysdba

创建oggtbs表空间

create tablespace oggtbs datafile '/u01/app/oracle/oggdata/orcl/oggtbs.dbf' size 500M autoextend on;

创建ogg用户(用户名和密码都是ogg)

create user ogg identified by ogg default tablespace oggtbs;

赋予ogg用户dba权限

grant dba to ogg;

7.2.3 OGG源端初始化

使用oracle用户登录源端OGG的命令行中

su – oracle

cd $OGG_SRC_HOME

./ggsci

初始化源端OGG目录
注意：如果不在OGG_SRC_HOME下，初始化OGG目录时会报错

create subdirs

退出OGG命令行客户端：exit

检查源端OGG初始化后的目录
初始化完成后，可以查询在$OGG_SRC_HOME下是否存在dirchk、dirdat、dirdef、dirjar、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp共11个目录。

7.3 配置OGG源端

7.3.1 Oracle创建测试表

#切换到oracle用户：
su – oracle
#登录sqlplus：
sqlplus "/as sysdba"

#在oracle中创建test_ogg用户：
create user test_ogg identified by test_ogg default tablespace users;
#为test_ogg用户授权：
grant dba to test_ogg;
#使用test_ogg用户登录：
conn test_ogg/test_ogg;
#创建test_ogg表：
create table test_ogg(id int ,name varchar(20),primary key(id));

7.3.2 配置OGG的全局变量

• 使用oracle用户进入OGG_SRC_HOME目录下

#切换到oracle用户下：
su – oracle
#打印源端OGG_SRC_HOME：
echo $OGG_SRC_HOME
#进入OGG_SRC_HOME：
cd $OGG_SRC_HOME

• 进入源端OGG命令行

./ggsci

• 使用oracle中的ogg用户登录

dblogin userid ogg password ogg

配置全局变量

edit param ./globals

oggschema ogg

然后跟使用vi一样，在新窗口中添加oggschema ogg后保存退出编辑

7.3.3 配置管理器MGR进程

进入源端OGG命令行

./ggsci

创建mgr进程：

edit param mgr

PORT 7809
DYNAMICPORTLIST 7810-7909
AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3

参数名称	参数说明
PORT	mgr的默认监听端口
DYNAMICPORTLIST	当指定的mgr端口不可用时，会在这个端口列表中选择一个，最大指定范围为256个
AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3	重启EXTRACT进程的参数，最多5次，每次间隔3分钟
PURGEOLDEXTRACTS	TRAIL文件的定期清理

7.3.4 添加复制表

进入源端OGG命令行

./ggsci

add trandata test_ogg.test_ogg
info trandata test_ogg.test_ogg

7.3.5 配置extract进程

配置Extract进程：

edit param extkafka

新增内容：

extract extkafka

dynamicresolution
SETENV (ORACLE_SID = “orcl”)
SETENV (NLS_LANG = “american_america.AL32UTF8”)
userid ogg,password ogg
exttrail /u01/app/ogg/src/dirdat/to
table test_ogg.test_ogg;

参数名称	参数说明
extract extkafka	定义extract进程名称
dynamicresolution	启用动态解析
SETENV (ORACLE_SID = “orcl”)	设置Oracle数据库
SETENV (NLS_LANG = “american_america.AL32UTF8”)	设置字符集
userid ogg,password ogg	OGG连接Oracle数据库的帐号密码
exttrail /u01/app/ogg/src/dirdat/to	定义trail文件的保存位置以及文件名，文件字母最多2个，否则会报错
table test_ogg.test_ogg;	复制表的表名，支持*通配，必须以;结尾

添加Extract进程：

add extract extkafka,tranlog,begin now

将trail文件配置与extract进程绑定：

add exttrail /u01/app/ogg/src/dirdat/to,extract extkafka

7.3.6 配置pump进程

配置Pump进程：

edit param pukafka

新增内容：

extract pukafka
passthru
dynamicresolution
userid ogg,password ogg
rmthost localhost mgrport 7809
rmttrail /u01/app/ogg/tgr/dirdat/to
table test_ogg.test_ogg;

extract进程名称；passthru即禁止OGG与Oracle交互，我们这里使用pump逻辑传输，故禁止即可；dynamicresolution动态解析；userid ogg,password ogg即OGG连接Oracle数据库的帐号密码rmthost和mgrhost即目标端(kafka)OGG的mgr服务的地址以及监听端口；rmttrail即目标端trail文件存储位置以及名称。

将源端trail文件绑定到Extract进程：

add extract pukafka,exttrailsource /u01/app/ogg/src/dirdat/to

将目标端trail文件绑定到Extract进程：

add rmttrail /u01/app/ogg/tgr/dirdat/to,extract pukafka

7.3.7 配置define文件

注意：该文件用来在异构数据源之间传输时，需明确知道表之间的映射关系，比如：Oracle与MySQL，Hadoop集群（HDFS，Hive，kafka等）等之间数据传输可以定义为异构数据类型的传输，故需要定义表之间的关系映射，在OGG命令行执行：

配置define文件：

edit param test_ogg

defsfile /u01/app/ogg/src/dirdef/test_ogg.test_ogg
userid ogg,password ogg
table test_ogg.test_ogg;

生成表schema文件：（在OGG_SRC_HOME目录下执行(oracle用户)）

./defgen paramfile dirprm/test_ogg.prm

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r /u01/app/ogg/src/dirdef/test_ogg.test_ogg   /u01/app/ogg/tgr/dirdef/

因为目标端目录还没有创建，因此发送文件可能会失败，所以执行完目标端配置后发送即可

7.4 配置OGG目标端

7.4.1 解压和安装OGG目标端软件包

• 创建OGG目标端的目录

使用root用户创建：

mkdir /u01/app/ogg/tgr

• 添加OGG目标端的目录到oracle用户的环境变量中

从root用户切换到oracle用户：

su oracle

注意【非常重要】：在这里，需要调整oracle用户的.bash_profile，主要是更新LD_LIBRARY_PATH的值，来确保源端和目标端的ggsci命令都可以正常使用。如果不更新的话，目标端ggsci命令可以使用，但源端的ggsci命令无法使用，会报错./ggsci: error while loading shared libraries: libclntsh.so.11.1: cannot open shared object file: No such file or directory

vim ~/.bash_profile

export OGG_TGR_HOME=/u01/app/ogg/tgr
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$ORACLE_HOME/lib:/usr/lib

source  ~/.bash_profile

#退出oracle用户shell命令：
exit

• 解压OGG目标端软件

OGG源端的软件包是V971332-01.zip，存放在/export/softwares/oracle/ogg目录下。需要使用root用户解压

cd /export/softwares/oracle/ogg

创建tgr文件夹是用来存放解压后的OGG目标端软件

mkdir -p /export/softwares/oracle/ogg/tgr/

解压OGG目标端软件到tgr文件夹下

unzip /export/softwares/oracle/ogg/V971332-01.zip -d /export/softwares/oracle/ogg/tgr/

cd /export/softwares/oracle/ogg/tgr/

ggs_Adapters_Linux_x64.tar文件是真正的OGG目标端软件包，解压该文件到/u01/app/ogg/tgr目录下，执行命令：

tar -xf ggs_Adapters_Linux_x64.tar -C /u01/app/ogg/tgr/

• 配置/u01/app/ogg/tgr目录及其所有文件的权限

解压后的默认用户和组

使用root用户执行授权命令：

chown -R oracle:oinstall /u01/app/ogg/tgr

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

ll /u01/app/ogg/tgr

可以看到/u01/app/ogg/tgr目录下的所有文件都属于oracle用户和oinstall组。

7.4.2 OGG目标端初始化

• 使用oracle用户登录目标端OGG的命令行中

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

su oracle

切换oracle用户时需要重新加载环境变量：

source ~/.bash_profile 

cd $OGG_TGR_HOME

./ggsci

• 初始化目标端OGG目录

注意：如果不在OGG_TGR_HOME下，初始化目标端OGG目录时会报错

create subdirs

退出OGG命令行客户端：

exit

• 检查目标端OGG初始化后的目录

初始化完成后，可以查询在$OGG_TGR_HOME下是否存在dirchk、dircrd、dirdat、dirdef、dirdmp、diretc、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp、dirwlt、dirwww共14个目录。

7.4.3 拷贝源端的define文件到目标端

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r $OGG_SRC_HOME/dirdef/test_ogg.test_ogg $OGG_TGR_HOME/dirdef/

7.4.4 安装zookeeper和Kafka

安装ZooKeeper(使用root用户操作)
解压：

tar -zxf /export/softwares/zookeeper-3.4.14.tar.gz -C /export/services/

创建软连接：

ln -s /export/services/zookeeper-3.4.14 /export/services/zookeeper

创建zoo.cfg：

cp /export/services/zookeeper/conf/zoo_sample.cfg /export/services/zookeeper/conf/zoo.cfg

配置zoo.cfg：

vim /export/services/zookeeper/conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/export/datas/zookeeper/data
dataLogDir=/export/datas/zookeeper/log
clientPort=2181

创建ZooKeeper的数据路径：

mkdir -p /export/datas/zookeeper/data
mkdir -p /export/datas/zookeeper/log

添加到环境变量：

vim /etc/profile

export ZOOKEEPER_HOME=/export/services/zookeeper
export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

source /etc/profile

启动ZooKeeper：

zkServer.sh start
zkServer.sh status

• 安装kafka(使用root用户操作)
  解压：

tar -zxf /export/softwares/kafka_2.11-2.2.0.tgz  -C /export/services/

创建软连接：

ln -s /export/services/kafka_2.11-2.2.0 /export/services/kafka

配置server.prperties：

vim /export/services/kafka/config/server.properties

listeners=PLAINTEXT://server01:9092
broker.id=0
zookeeper.connect=server01:2181

添加环境变量：

vim /etc/profile

export KAFKA_HOME=/export/services/kafka
export PATH=.:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

source /etc/profile

启动Kafka：

kafka-server-start.sh -daemon /export/services/kafka/config/server