Oracle19c 通过 OGG 同步数据到 kafka

最新推荐文章于 2024-05-24 09:36:03 发布
最新推荐文章于 2024-05-24 09:36:03 发布
阅读量3.4k 收藏 24
点赞数 7
分类专栏： linux oracle 文章标签： linux ogg oracle kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012949759/article/details/104497409
版权
小小博客

ogg 安装

参考：
利用ogg实现oracle到kafka的增量数据实时同步
Oracle® GoldenGate Installing and Configuring Oracle GoldenGate for Oracle Database
ogg-multitenant-2408073.pdf
经典模式升级集成模式
静默安装 Oracle19c

环境准备

IP别名安装软件
192.168.1.111node1jdk1.8、Oracle19c、V983658-01
192.168.1.112node2jdk1.8、Kafka-2.3.0、zookeeper-3.5.6、OGG_BigData_Linux_x64_19.1.0.0.1
软件下载

node1 ogg V983658-01
node2 ogg OGG_BigData_Linux_x64_19.1.0.0.1

V983658-01下载比较麻烦 ，需要有Oracle 账号
看图片上面数字操作在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

软件安装

分别在两台机器安装上述软件，jdk、Kafka、zookeeper 可自行百度，这不是重点！重点是下面的配置操作

修改 hosts

分别在两台机器执行

[root@node1 ~]# vi /etc/hosts
192.168.1.111 node1
192.168.1.112 node2
node1、node2 安装 OGG

建议 node1和 node2 安装路径一致；安装均使用 GUI 安装
node1 解压 V983658-01 安装
node2 解压OGG_BigData_Linux_x64_19.1.0.0.1安装

配置环境变量
export OGG_HOME=/u19/app/oggserver
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib:/usr/local/java/jdk1.8.0_91/jre/lib/amd64/server
export PATH=$OGG_HOME:$PATH

node1 OGG 安装

Oracle打开归档模式

切换到Oracle用户 连接 sqlplus

[root@node1 ~]# su – oracle
[oracle@node1 ~]# sqlplus / as sysdba

查看是否开启

SQL> archive log list
Database log mode               No Archive Mode
Automatic archival               Disabled
Archive destination               USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     12
Current log sequence               14

如果Automatic archival是Disabled 则需要修改

SQL> conn / as sysdba (以DBA身份连接数据库)
SQL> shutdown immediate (立即关闭数据库)
SQL> startup mount (启动实例并加载数据库，但不打开)
SQL> alter database archivelog; (更改数据库为归档模式)
SQL> alter database open; (打开数据库)
SQL> alter system archive log start; (启用自动归档)

再执行一下 archive log list

SQL> archive log list
Database log mode               Archive Mode
Automatic archival               Enabled
Archive destination               USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     12
Next log sequence to archive   14
Current log sequence               14

可以看到Automatic archival为Enabled，则成功打开归档模式。

Oracle打开日志相关
  1. OGG基于辅助日志等进行实时传输，故需要打开相关日志确保可获取事务内容，通过下面的命令查看该状态
  2. 若为NO，则需要通过命令修改
  3. 执行完 alter 后，可以再次查看为 YES即可
SQL> select force_logging, supplemental_log_datamin from v$database;
FORCE SUPPLEMENTAL_LOG
NO NO
SQL> alter database force logging;
SQL> alter database add supplemental log data;
SQL> select force_logging, supplemental_log_datamin from v$database;
FORCE SUPPLEMENTAL_LOG
YES YES
创建同步表
[root@node1 ~]# su – oracle
[oracle@node1 ~]# sqlplus test_ogg/test_ogg@localhost/pdb1

DROP TABLE tcustmer;
CREATE TABLE tcustmer
(
    cust_code        VARCHAR2(4),
    name             VARCHAR2(30),
    city             VARCHAR2(20),
    state            CHAR(2),
    PRIMARY KEY (cust_code)
        USING INDEX
);
OGG配置
创建新的PDB,并且指定用户test_ogg
[root@node1 ~]# su – oracle
[oracle@node1 ~]# sqlplus / as sysdba

SQL> create pluggable database pdb1 admin user test_ogg identified by test_ogg file_name_convert=('pdbseed','pdb1');
# 打开pdb1
SQL> alter session set container=pdb1;
SQL> alter database pdb1 open;
设置用户权限
SQL> alert session set container=pdb1;
SQL> grant dba to test_ogg;
SQL> exec dbms_goldengate_auth.grant_admin_privilege('test_ogg',container=>'pdb1');
Create OGG Extract User 用于同步任务
[root@node1 ~]# su – oracle
[oracle@node1 ~]# sqlplus / as sysdba

SQL> ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE;
SQL> create user c##ggadmin identified by ggadmin;
SQL> exec dbms_goldengate_auth.grant_admin_privilege('c##ggadmin',container=>'ALL');
SQL> grant dba to c##ggadmin container=all;
# 测试用户
SQL> connect c##ggadmin/ggadmin
初始化OGG
[root@node1 ~]# su – oracle
[oracle@node1 ~]# cd $OGG_HOME
[oracle@node1 ggserver]# ggsci
GGSCI (node1) 1 > create subdirs
登陆pdb1
GGSCI (node1) 2 > dblogin userid test_ogg@localhost/pdb1,password test_ogg
配置mgr

此命令等价于 vim

GGSCI (node1) > edit param mgr

以下是 mgr 内容

PORT 7809
DYNAMICPORTLIST 7810-7909
AUTORESTART EXTRACT ,RETRIES 5,WAITMINUTES 3
PURGEOLDEXTRACTS ./dirdat/,usecheckpoints, minkeepdays 3

说明：
PORT即mgr的默认监听端口；
DYNAMICPORTLIST动态端口列表，当指定的mgr端口不可用时，会在这个端口列表中选择一个，最大指定范围为256个；
AUTORESTART重启参数设置表示重启所有EXTRACT进程，最多5次，每次间隔3分钟；PURGEOLDEXTRACTS即TRAIL文件的定期清理

注册数据库

需要登陆根库注册； 注册完成后再使用 test_ogg@localhost/pdb1登陆做后续配置
修改抽取模式；需要记住 register 执行成功后的 scn
详情见下图

GGSCI (node1) > dblogin userid c##ggadmin,password ggadmin
GGSCI (node1) > register extract extkafka database container (pdb1)
GGSCI (node1) > alter extract extkafka ,scn 2335275
GGSCI (node1) > alter extract extkafka ,upgrade integrated tranlog,begin now

修改抽取模式

添加复制表
GGSCI (node1) > add trandata pdb1.test_ogg.tcustmer
GGSCI (node1) > add schematrandata pdb1.test_ogg

trandata 添加表使用；
schematrandata 添加库使用
添加需要同步的表或者数据库

配置extract
GGSCI (node1) > edit param extkafka

以下是 extkafka 内容

extract extkafka
dynamicresolution
userid c##ggadmin,password ggadmin
setenv(ORACLE_SID=orcl)
exttrail /u19/app/oggserver/dirdat/to
DDL INCLUDE MAPPED
DDLOPTIONS REPORT
LOGALLSUPCOLS
SOURCECATALOG pdb1
TABLE test_ogg.tcustmer;

说明：
第一行指定extract进程名称；
dynamicresolution动态解析；
SETENV设置环境变量；
userid c##ggadmin,password ggadmin 即OGG连接Oracle数据库的帐号密码；
exttrail定义trail文件的保存位置以及文件名，注意这里文件名只能是2个字母，其余部分OGG会补齐；
SOURCECATALOG 制定 pdb
table即复制表的表名，支持通配，必须以;结尾

添加extract进程

添加trail文件的定义与extract进程绑定

GGSCI (node1) > Add extract extkafka,tranlog,begin now
GGSCI (node1) > Add exttrail /u19/app/oggserver/dirdat/to,extract extkafka
配置pump进程
GGSCI (node1) > edit param pukafka

以下是 pukafka 内容

extract pukafka
passthru
userid c##ggadmin,password ggadmin
rmthost 192.168.1.112 mgrport 7809
rmttrail /u19/app/oggserver/dirdat/to
DDL INCLUDE MAPPED
DDLOPTIONS REPORT
table pdb1.test_ogg.tcustmer;

说明：
第一行指定extract进程名称；
passthru即禁止OGG与Oracle交互，我们这里使用pump逻辑传输，故禁止即可；
userid c## ggadmin,password c## ggadmin 即OGG连接Oracle数据库的帐号密码
rmthost和mgrhost即目标端(kafka)OGG的mgr服务的地址以及监听端口；
rmttrail即目标端trail文件存储位置以及名称。
Table 表 ；

分别将本地trail文件和目标端的trail文件绑定到extract进程：
GGSCI (node1) > add extract pukafka,exttrailsource /u19/app/oggserver/dirdat/to
GGSCI (node1) > add rmttrail /u19/app/oggserver/dirdat/to,extract pukafka
配置define文件

Oracle与MySQL，Hadoop集群（HDFS，Hive，kafka等）等之间数据传输可以定义为异构数据类型的传输，故需要定义表之间的关系映射，在OGG命令行执行：

GGSCI (node1) > edit param test_ogg

以下是 pukafka 内容

defsfile /u19/app/oggserver/dirdef/test_ogg.tcustmer
userid c##ggadmin,password ggadmin
table pdb1.test_ogg.tcustmer;
在OGG主目录下执行(oracle用户)：

生成 / u19/app/oggserver /dirdef/test_ogg.tcustmer
并且发送到目标端oggserver目录下的dirdef里

[root@node1 ~]# su - oracle
[oracle@node1 ~]# cd $OGG_HOME
[oracle@node1 ggserver]# ./defgen paramfile dirprm/test_ogg.prm
[oracle@node1 ggserver]#scp -r /u19/app/oggserver/dirdef/test_ogg.tcustmer root@node2:/u19/app/oggserver/dirdef/

defgen

node2 OGG安装
开启zookeeper服务
[root@node2 ~] cd /home/server/zookeeper
[root@node2 zookeeper] ./bin/zkServer.sh start
开启kafka服务
[root@node2 ~] cd /home/server/kafka_2.11-2.3.0/
[root@node2 kafka_2.11-2.3.0] ./bin/kafka-server-start.sh -daemon ./config/server.properties
配置管理器mgr
GGSCI (node2) > edit param mgr
PORT 7809
DYNAMICPORTLIST 7810-7909
AUTORESTART EXTRACT ,RETRIES 5,WAITMINUTES 3
PURGEOLDEXTRACTS ./dirdat/,usecheckpoints, minkeepdays 3
配置checkpoint

checkpoint即复制可追溯的一个偏移量记录，在全局配置里添加checkpoint表即可。

GGSCI (node2) > edit  param  ./GLOBALS
CHECKPOINTTABLE test_ogg.checkpoint
配置replicate进程
GGSCI (node2) > edit param rekafka
REPLICAT rekafka
sourcedefs /u19/app/oggserver/dirdef/test_ogg.test_ogg
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000
MAP pdb1.test_ogg.tcustmer, TARGET pdb1.test_ogg.tcustmer;

说明：
REPLICATE rekafka定义rep进程名称；
sourcedefs即在3-7中在源服务器上做的表映射文件；
TARGETDB LIBFILE即定义kafka一些适配性的库文件以及配置文件，配置文件位于OGG主目录下的dirprm/kafka.props；
REPORTCOUNT即复制任务的报告生成频率；
GROUPTRANSOPS为以事务传输时，事务合并的单位，减少IO操作；
AP即源端与目标端的映射关系

配置kafka.props
[root@node2 ~] cd / u19/app/oggserver/dirprm/
[root@node2 ggserver] vi kafka.props
gg.handlerlist=kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
gg.handler.kafkahandler.topicMappingTemplate=test_ogg
gg.handler.kafkahandler.format=json
gg.handler.kafkahandler.mode=op
gg.classpath=dirprm/:/home/server/kafka_2.11-2.3.0/libs/:/u19/app/oggserver/:u19/app/oggserver/lib/*
[root@node2 ggserver] vi custom_kafka_producer.properties
bootstrap.servers=192.168.1.112:9092 
acks=1
compression.type=gzip
reconnect.backoff.ms=1000
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
batch.size=102400
linger.ms=10000
添加trail文件到replicate进程
GGSCI (node2) > add replicat rekafka exttrail /u19/app/oggserver/dirdat/to,checkpointtable test_ogg.checkpoint
启动所有进程

在源端和目标端的OGG命令行下使用start 进程名的形式启动所有进程。
启动顺序按照源mgr——目标mgr——源extract——源pump——目标replicate来完成。
全部需要在ogg目录下执行ggsci目录进入ogg命令行。
info all 之后所有进程为 running 才是成功

node1

GGSCI (node1) > start mgr
GGSCI (node1) > start extkafka
GGSCI (node1) > start pukafka
GGSCI (node1) > info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING EXTKAFKA 04:50:21 00:00:03
EXTRACT RUNNING PUKAFKA 00:00:00 00:00:03

node2

GGSCI (node1) > start mgr
GGSCI (node1) > start rekafka
GGSCI (node1) > info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING REKAFKA 00:00:00 00:00:01
测试

node1

[root@node1 ~]# su – oracle
[oracle@node1 ~]# sqlplus test_ogg/test_ogg@localhost/pdb1

SQL> INSERT INTO tcustmerVALUES('5','BG SOFTWARE CO.','SEATTLE','1');

node2

[root@node1 ~] cd /home/server/kafka_2.11-2.3.0
[root@node1 kafka_2.11-2.3.0] ./bin/kafka-console-consumer.sh --bootstrap-server node2:9092 --topic test_ogg --from-beginning

在这里插入图片描述

胡小素
关注
  • 7
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
ogg oracle 测试kafka_OGG同步ORACLE数据到KAFKA
weixin_39860166的博客
12-19 294
环境：源端：oracle12.2 ogg for oracle 12.3目标端：KAFKA ogg for bigdata 12.3将oracle中的数据通过OGG同步到KAFKA源端配置：1、为要同步的表添加附加日志dblogin USERID ogg@orclpdb, PASSWORD oggadd trandata scott.tab1add trandata scott.ta...
使用kafka-connect-oracle采集oracle数据
m0_60319041的博客
07-19 749
1.下载软件包 将kafka-connect-oracle的jar包放到kafka客户端的libs目录下，并将连接oralce的驱动包ojdbc的jar包（根据oracle的版本选择jar包，此处使用的是ojdbc6.jar）放到kakfa客户端libs目录下。 2.登录oracle数据库，对用户授权 a.数据库必须处于archivelog模式： sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immedi
利用ogg微服务版将oracle同步到kafka
贤时间
11-18 1587
ogg微服务版可以再界面上配置抽取、复制进程，不必进入到shell中进行配置，并且图形化界面可以看到更多信息。
【原创】OGG21.3 CENTOS配置ORACLE 19C ADG至KAFKA
最新发布
xiaoyang1982的专栏
05-24 907
GROUPTRANSOPS为以事务传输时，事务合并的单位，减少IO操作；GETUPDATEBEFORES ----12.3版本要加此参数，若不加，在普通update时，即便抽取进程加了GETUPDATEBEFORES等参数，kafka表中的被修改字段修改前的值也不会被写入，11G版本不需要此参数亦可，详情看后面实施过程遇到的错误列表。配置oracle的环境变量文件/home/oracle/.bash_profile里配置，为了怕出问题，我把OGG_HOME等环境变量在/etc/profile配置了一份。
oracle使用ogg导出数据到kafka
weixin_40548182的博客
05-24 2365
前提 环境 oracle 19c 10.0.2.15 kafka kafka_2.13-2.8.0 二进制安装 10.0.2.12 安装包 oracle源端 191004_fbo_ggs_Linux_x64_shiphome.zip kafka目标端 OGG_BigData_Linux_x64_19.1.0.0.5.tar.gz kafka_2.13-2.8.0.tgz oracle源端操作 安装ogg 创建ogg目录，解压安装包，root用户操作 mkdir -p /ogg 任意目录下
OGG|使用 OGG12.3 同步 Oracle 部分表到 Kafka
JiekeXu的博客
08-17 913
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习使用 OGG12.3 同步 Oracle 部分表到 Kafka，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！说 明：源端 Oracle 数据库版本 ...
ogg安装实时同步kafka部署
qq_40582275的博客
11-19 1507
OGG Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 Manager(控制)进程 用于管理 Extract，Data Pump，Replicat等进程 在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动 Extract(抽取)进程 可以配置Extract 进程来做 ⒈ 初始数据装载
Debezium实时抽取oracle 19c数据到kafka
m0_59595182的博客
06-25 835
"table.include.list": "BCM.CUST_CORP_INFO,BCM.CR_FAREP_MANAGE_CHILD,BCM.CR_FAREP_MANAGE_MAIN", //要抽取的表。"database.history.kafka.bootstrap.servers" : "xx.xx.xx.xx:9092", //生成的topic放到哪个kakfa中。"database.history.skip.unparseable.ddl":"true", //跳过ddl语句。
kafka 通过 jdbc 从oracle抓取数据
weixin_40548182的博客
08-09 1337
是否支持 递增（insert） 乱序插入 update（递增和乱序） delete（递增和乱序）incrementing 支持 不支持 不支持 不支持timestamp 支持 不支持 不支持 不支持同步全量是否支持 递增（insert） 乱序插入 update（递增和乱序） delete（递增和乱序）bulk 支持 支持 支持 支持。...
Oracle Linux 7.6 +19c_RAC 安装文档
chwei的博客
12-09 2407
Oracle Linux 7.6 +19c_RAC 安装文档一、安装规划1、数据库服务2台2、存储3、IP 规划4、其他软件二、安装环境配置1、两个节点安装rac需要的依赖包2、\etc\hosts配置3、修改主机名4、在两个节点关闭防火墙5、关闭时间同步ntpd服务6、/etc/security/limits.conf7、vi /etc/security/limits.d/20-nproc.conf8、vi /etc/pam.d/login9、修改内核参数10、关闭透明页11、关闭selinix12、 配
使用OGG实现Oracle到kafka数据同步（详细版本）
Kayleigh520的博客
01-04 2424
使用OGG实现Oracle到kafka数据同步
Oracle Golden Gate 从Oracle同步到Kafka的部署文档
12-12
此文档包含了 Oracle Golden Gate 从Windows下Oracle同步到Linux下的Kafka的部署说明。
ogg同步oracle数据到kafka
ukakasu的博客
07-03 2596
ogg即Oracle GoldenGate是Oracle的同步工具。 源端和目标端的配置信息： - 版本 OGG版本 源端 OracleRelease 11.2.0.1.0 Oracle GoldenGate 11.2.1.0.3 for Oracle on Linux x86-64 目标端 kafka 0.10.1 、confluent 3.1...
[2021-01-06] Oracle19C RAC 搭建OGG聚合模式同步数据到11.2.0.4详细记录
m15217321304的博客
01-06 3728
环境说明 源端19.7 RAC OGG版本19.1 node1: 192.168.40.160 node2: 192.168.40.161 RAC安装OGG使用的是ACFS方式，ACFS搭建可以参考： https://blog.csdn.net/m15217321304/article/details/112236321 19.1OGG在19.7RAC上面安装可以参考： https://blog.csdn.net/m15217321304/article/details/112245469 目标端.
OGG(oracle golden date)简单部署ORACLE 11g-ORACLE 11g
热门推荐
技术成就梦想
07-23 1万+
摘要：本文档为本人学习goldendate时的相关实验过程，仅供参考。 1.环境介绍 本文主要分介绍OGG的安装部署，下面是实验环境介绍。 实验规划： 项目 源环境 目标环境         操作系统         OEL 5.7 X86_64         OEL 5.7 X86_64         主机名         dbdream
【ogg一】入门OGG(oracle golden date)详细部署 Oracle 11g
程序员石磊
07-01 1698
点击去百度云下载
基于OGG 实现Oracle到Kafka增量数据实时同步
袋鼠云的博客
11-13 2421
背景 在大数据时代，存在大量基于数据的业务。数据需要在不同的系统之间流动、整合。通常，核心业务系统的数据存在OLTP数据库系统中，其它业务系统需要获取OLTP系统中的数据。传统的数仓通过批量数据同步的方式，定期从OLTP系统中抽取数据。但是随着业务需求的升级，批量同步无论从实时性，还是对在线OLTP系统的抽取压力，都无法满足要求。需要实时从OLTP系统中获取数据变更，实时同步到下游业务系统。 ...
OGG-08221 OGG-15149 OGG-02032
Natura_l的博客
04-01 1887
项目场景： 搭建oarcle 18c多租户的OGG下游挖掘： 18c downstream 集成抽取注册不成功 问题描述 REGISTER EXTRACT extkafka DATABASE container (ORCLPDB) ： ERROR OGG-08221 Oracle GoldenGate Command Interpreter for Oracle: Cannot register or unregister EXTRACT EXTKAFKA because of the follow
Oracle 19c 参数列表及概要介绍
SQLplusDB的小院
04-13 7844
Oracle 19c包括5412个参数，各参数概要内容
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值