Oracle GoldenGate12.2安装同步oracle11g至kafka2.0

这篇文章是对
https://blog.csdn.net/kkHMou/article/details/115749725
补充，部分配置直接沿用了这篇文章

下篇文章，StreamSets同步kafka数据至kudu：
https://blog.csdn.net/kkHMou/article/details/116931422

oracle ogg官方最新版本为19.1，旧版本需要到oracle云下载：
https://edelivery.oracle.com/osdc/faces/SoftwareDelivery

一、前置

组件：

软件	版本
CentOS	CentOS 7.5
JAVA	1.8
源端Oracle	11g for linux
源端Ogg	12.2.02 for oracle on linux
目标端Ogg	12.2.01 big data
kafka	kafka_2.12-2.00

架构：

名词解释

1.OGG Manager

OGG Manager用于配置和管理其它OGG组件，配置数据抽取、数据推送、数据复制，启动和停止相关组件，查看相关组件的运行情况。

2.数据抽取（Extract）

抽取源端数据库的变更（DML, DDL）。数据抽取主要分如下几种类型：

本地抽取

从本地数据库捕获增量变更数据，写入到本地Trail文件

数据推送（Data Pump）

从本地Trail文件读取数据，推送到目标端。

初始数据抽取

从数据库表中导出全量数据，用于初次数据加载

3.数据推送（Data Pump）

Data Pump是一种特殊的数据抽取（Extract）类型，从本地Trail文件中读取数据，并通过网络将数据发送到目标端OGG

4.Trail文件

数据抽取从源端数据库抓取到的事物变更信息会写入到Trail文件。

5.数据接收（Collector）

数据接收程序运行在目标端机器，用于接收Data Pump发送过来的Trail日志，并将数据写入到本地Trail文件。

6.数据复制（Replicat）

数据复制运行在目标端机器，从Trail文件读取数据变更，并将变更数据应用到目标端数据存储系统。本案例中，数据复制将数据推送到kafka消息队列。

7.检查点（Checkpoint）

检查点用于记录数据库事物变更。

二、源端Oracle配置修改

linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

切到oracle用户

2.1 开启oracle归档模式

sqlplus / as sysdba

SQL> archive log list 
Database log mode	       No Archive Mode
Automatic archival	       Disabled
Archive destination	       USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     22
Current log sequence	       24

如果是Disable，则打开

#立即关闭数据库
shutdown immediate
#启动实例并加载数据库
startup mount
#更改数据库为归档模式
alter database archivelog
#打开数据库
alter database open
#启用自动归档
alter system archive log start

再执行一下

SQL> archive log list 
Database log mode	       Archive Mode
Automatic archival	       Enabled
Archive destination	       USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     22
Next log sequence to archive   24
Current log sequence	       24

已经是Enabled，说明归档模式已打开

2.2 开启oracle强制日志和附加日志

select force_logging, supplemental_log_data_min from v$database;

FORCE_ SUPPLEMENTAL_LOG
------ ----------------
NO     NO

若都为No，则进行修改

#强制日志
alter database force logging;
#附加日志
alter database add supplemental log data;

然后再查看一下

SQL> select force_logging, supplemental_log_data_min from v$database;

FOR SUPPLEME
--- --------
YES YES

说明补充日志打开成功

2.3 创建Oracle ogg用户

创建GoldenGate表空间

可以通过此命令查看当前的表空间和位置
select tablespace_name,file_id,bytes/1024/1024,file_name from dba_data_files order by file_id;

create tablespace ogg_data datafile '/app/ora/oracle/oradata/orcl/ogg01.dbf' size 1000M autoextend on;

创建用户并赋权

create user ogg identified by ogg default tablespace ogg_data;
grant connect,resource,dba,create table,create sequence to ogg;

三、源端OGG安装初始化

这里是root用户

3.1 上传并解压赋权

V861007-01.zip

mkdir /app/ogg
cd /app/ogg
unzip V861007-01.zip
chown -R oracle:oinstall /app/ogg

3.2 静默安装初始化

这里切换到oracle用户

sudo su oracle
cd /app/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response

修改参数，这里修改好了，供参考

[oracle@maste