物流项目中Oracle 数据库的使用及OGG是如何同步_oracle ogg数据同步

于 2024-05-16 11:10:43 发布
阅读量380 收藏 9
点赞数 5
文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181564/article/details/138953121
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1615777550837

Extract 进程用来捕获数据源，有三种类型：

  • 1）、initial load：加载整张表的数据，属于批量加载
  • 2）、恢复日志/事务日志：恢复数据库表的数据
  • 3）、捕获模型，实时监控日志文件，已有数据，立即捕获

1615777650890

​ Data pump 是Extract的辅助可选组件，如果不配置Data pump，Extract将捕获的数据直接发给目标机器上的Collector进程。

08-[理解]-OGG 数据同步之拓扑结构及支持环境

​ OGG架构和原理，发现架构划分比较细（分工比较细），OGG在实际项目中，使用时，常见拓扑结构和支持环境，以后如果考虑使用OGG实时同步数据时参考。

Oracle数据库配置集群Cluster，称为Oracle RAC（Real Application Cluster

1615778086744

​ 由此可见，GoldenGate TDM的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。

源和目标的操作系统和数据库可以进行任意的组合。

1615778445595

​ 目前来说，如果企业项目使用OGG进行数据同步时，通常还是SRC为：Oracle数据库，DST：Oracle数据库或Kafka消息队列。

09-[掌握]-OGG 数据同步之测试环境准备

如何配置OGG实现实时数据同步到Kafka，无需掌握步骤，比较繁琐，让DBA完成。

1615779520603

​ 提供虚拟机【node1.itcast.cn】中Docker 容器【myoracle】已经安装完OGG（源端和目标端），只需要启动OGG的源端SRC服务和目标端DST服务即可。

  • 1）、源端SRC
    • Manager管理（mgr）、Extract进程、LocalTrail、Pump进程
  • 2）、目标端DST
    • Manager管理（mgr）、Remote Trail 、复制进程Replicat

1612324623208

​ 由于使用OGG实时采集Oracle数据库表数据（日志文件），将数据同步到Kafka消息对象，所以首先启动Kafka服务（先启动Zookeeper服务），打开提供【node2.itcast.cn】，使用CM界面启动ZK和Kafka服务。

1615779939494

启动OGG配置服务，分为源端和目标端，参考提供【启动命令：Oracle数据库和OGG服务.txt】，具体命令；

#  ============= 切换到 oracle 账号，并且启动Oracle数据库 =============

# 第一步：启动源端mgr进程
[root@node1 ~]# docker exec -it myoracle /bin/bash
[root@server01 oracle]# su - oracle
Last login: Mon Mar 15 02:06:07 UTC 2021 on pts/1
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
[oracle@server01 ~]$ cd $OGG_SRC_HOME
[oracle@server01 src]$ ./ggsci 

Oracle GoldenGate Command Interpreter for Oracle
Version 11.2.1.0.3 14400833 OGGCORE_11.2.1.0.3_PLATFORMS_120823.1258_FBO
Linux, x64, 64bit (optimized), Oracle 11g on Aug 23 2012 20:20:21

Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.



GGSCI (server01) 1> start mgr

Manager started.


GGSCI (server01) 2> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     ABENDED     EXTKAFKA    00:00:00      4598:05:35  
EXTRACT     ABENDED     PUKAFKA     00:00:00      4598:05:31  


# 第二步：启动目标端mgr进程
[root@node1 ~]# docker exec -it myoracle /bin/bash
[root@server01 oracle]# su - oracle
Last login: Mon Mar 15 03:48:01 UTC 2021 on pts/0
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
[oracle@server01 ~]$ cd $OGG_TGR_HOME
[oracle@server01 tgr]$ ./ggsci
start mgrOracle GoldenGate for Big Data
Version 12.3.1.1.1

Oracle GoldenGate Command Interpreter
Version 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608
Linux, x64, 64bit (optimized), Generic on Aug 28 2017 17:13:45
Operating system character set identified as US-ASCII.

Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.


GGSCI (server01) 2> start mgr
Manager started.


GGSCI (server01) 3> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
REPLICAT    ABENDED     REKAFKA     00:00:00      4598:06:12  


# 第三步：启动源端extract进程
GGSCI (server01) 3> start EXTKAFKA

Sending START request to MANAGER ...
EXTRACT EXTKAFKA starting


# 第四步：启动源端pump进程
GGSCI (server01) 4> start PUKAFKA

Sending START request to MANAGER ...
EXTRACT PUKAFKA starting


GGSCI (server01) 5> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXTKAFKA    4598:08:10    00:00:00    
EXTRACT     RUNNING     PUKAFKA     00:00:00      4598:07:38  


# 第五步：启动目标端replicate进程
GGSCI (server01) 4> start REKAFKA

Sending START request to MANAGER ...
REPLICAT REKAFKA starting


GGSCI (server01) 7> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
REPLICAT    RUNNING     REKAFKA     00:00:00      00:00:08

使用KafkaTool工具连接Kafka集群，查看Topic信息和数据

1615780362820

10-[掌握]-OGG 数据同步之物流数据同步Kafka

采用OGG中间件将Oracle数据库表的数据实时同步到Kafka消息队列中：

  • 1）、源端 ：Oracle数据库【itcast】
  • 2）、采集工具：OGG，分为SRC和DST
  • 3）、目标端：Kafka 消息队列【logistics】

测试：向Oracle数据库某张表中插入insert、更新update及删除delete操作，查看Kafka Topic中数据

目前OGG11版本，延迟性相对较大，在2s左右，需要进行合理化调参配置，到OGG12版本，很快。

  • 1）、插入数据测试
-- 插入数据INSERT
INSERT INTO ITCAST."tbl_company"("id", "company_name", "city_id", "company_number", "company_addr", "company_addr_gis", "company_tel", "is_sub_company", "state", "cdt", "udt", "remark")VALUES(11, '广州码农速递邮箱公司', 440100, NULL, '广州校区', '117.28177895734918_31.842711680531399', NULL, 1, 1, TO_DATE('2020-06-13 15:24:51','yyyy-mm-dd hh24:mi:ss'), TO_DATE('2020-06-13 15:24:51','yyyy-mm-dd hh24:mi:ss'), NULL);

同步至Kafka Topic中JSON数据

{
  "table": "ITCAST.tbl\_company",
  "op\_type": "I",
  "op\_ts": "2021-03-15 03:57:07.000306",
  "current\_ts": "2021-03-15T03:57:20.578000",
  "pos": "00000000150000001245",
  "after": {
    "id": 11,
    "company\_name": "广州码农速递邮箱公司",
    "city\_id": 440100,
    "company\_number": null,
    "company\_addr": "广州校区",
    "company\_addr\_gis": "117.28177895734918\_31.842711680531399",
    "company\_tel": null,
    "is\_sub\_company": 1,
    "state": 1,
    "cdt": "2020-06-13 15:24:51",
    "udt": "2020-06-13 15:24:51",
    "remark": null
  }
}
  • 2）、更新数据测试
-- 更新数据UPDATE
UPDATE ITCAST."tbl_company" SET "company_name"='广州码农速递有限公司-1' WHERE "id"=11;

同步至Kafka Topic中JSON数据

{
  "table": "ITCAST.tbl\_company",
  "op\_type": "U",
  "op\_ts": "2021-03-15 03:59:28.000248",
  "current\_ts": "2021-03-15T03:59:40.378000",
  "pos": "00000000150000001980",
  "before": {
    "id": 11,
    "company\_name": "广州码农速递邮箱公司",
    "city\_id": 440100,
    "company\_number": null,
    "company\_addr": "广州校区",
    "company\_addr\_gis": "117.28177895734918\_31.842711680531399",
    "company\_tel": null,
    "is\_sub\_company": 1,
    "state": 1,
    "cdt": "2020-06-13 15:24:51",
    "udt": "2020-06-13 15:24:51",
    "remark": null
  },
  "after": {
    "id": 11,
    "company\_name": "广州码农速递有限公司-1",
    "city\_id": 440100,
    "company\_number": null,
    "company\_addr": "广州校区",
    "company\_addr\_gis": "117.28177895734918\_31.842711680531399",
    "company\_tel": null,
    "is\_sub\_company": 1,
    "state": 1,
    "cdt": "2020-06-13 15:24:51",
    "udt": "2020-06-13 15:24:51",
    "remark": null
  }
}
  • 3）、删除数据测试
-- 删除数据DELETE
DELETE ITCAST."tbl_company" WHERE "id"=11;

同步至Kafka Topic中JSON数据

{
  "table": "ITCAST.tbl\_company",
  "op\_type": "D",
  "op\_ts": "2021-03-15 04:01:16.000109",
  "current\_ts": "2021-03-15T04:01:30.756000",
  "pos": "00000000150000002328",
  "before": {
    "id": 11,
    "company\_name": "广州码农速递有限公司-1",
    "city\_id": 440100,
    "company\_number": null,
    "company\_addr": "广州校区",
    "company\_addr\_gis": "117.28177895734918\_31.842711680531399",
    "company\_tel": null,
    "is\_sub\_company": 1,
    "state": 1,
    "cdt": "2020-06-13 15:24:51",
    "udt": "2020-06-13 15:24:51",
    "remark": null
  }
}

可以查看Oracle数据库日志存储，命令如下：

[root@node1 ~]# docker exec -it myoracle /bin/bash
[root@server01 oracle]# su - oracle
[oracle@server01 ~]$ source ~/.bash_profile 
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
-bash: warning: setlocale: LC_ALL: cannot change locale (en_US): No such file or directory
[oracle@server01 ~]$ 
[oracle@server01 ~]$ cd $ORACLE_BASE/flash_recovery_area/ORCL 


![img](https://img-blog.csdnimg.cn/img_convert/ff1fd7af4a765ce15daa119b1130671d.png)
![img](https://img-blog.csdnimg.cn/img_convert/e040ab9e0dd424da6bce8661f5109284.png)
![img](https://img-blog.csdnimg.cn/img_convert/d7fb956a91d05836cc11c5c621d17034.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

e or directory
[oracle@server01 ~]$ 
[oracle@server01 ~]$ cd $ORACLE_BASE/flash_recovery_area/ORCL 


[外链图片转存中...(img-l4Yb4KWf-1715829022404)]
[外链图片转存中...(img-vN099opl-1715829022404)]
[外链图片转存中...(img-Da6oXM14-1715829022405)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84181564
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
物流项目中Oracle 数据库的使用及OGG是如何同步
Maynor的博客
05-07 4500
Oracle数据库操作入门及OGG数据ETL
OGG 实现两台Oracle数据库的同步
最新发布
weixin_41203765的博客
06-05 328
OGG (Oracle GoldenGate) 是一个用于实现实时数据复制和事务日志捕获的工具，通常用于在Oracle数据库之间、Oracle与其他数据库之间，或者数据库与非数据库系统之间实现数据的实时同步。
oracle近实时数据同步方案整理
一点见解
07-19 1334
比较闪回版本查询闪回查询FLASHBACK_TRANSACTION_QUERY结合闪回查询基于LogMiner的日志挖掘缺点1.时间范围和undo_retention参数值有关，默认900s，超过这个值查询会报ORA-30052。2.基于单表的查询，并发查询或占用数据库连接。1.单表数据量大查询很慢。2. 基于单表的查询，并发查询或占用数据库连接。1.不适用于容器数据库的只读备库。2.对于操作频繁的数据库查询很慢1.不适用于只读备库。2.必须开最小追加日志。
Oracle Glodengate管理-Oracle19C RAC 搭建OGG聚合模式同步数据到11.2.0.4
oradbm的博客
02-01 1554
-//检查发现extract名字有问题，刚开始注册的时候是EXTORA，抽取进程为exint，重新注册为exint(所以注册的名字要和抽取的名字一致)原文链接：https://blog.csdn.net/m15217321304/article/details/112276914。--//exttrailsource的内容就是exint抽取进程的exttrail /ogg/ogg/trails/w1。--//报错的意思就是需要创建一个全局用户，就是c##开头的，跨所有PDB的。
5分钟搞定ORACLE到ClickHouse数据迁移同步-CloudCanal实战
Kami‘s home
08-31 2229
简述 ClickHouse 是一种流行的列式数据库，对于计算 uv、mv、pv 等聚合类数据相当友好，所以广泛使用于各类报表场景。 本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 ORACLE 到 ClickHouse 数据同步链路。 示例中 ORACLE 库为 PDB 模式, ClickHouse 为单副本实例。 技术点 ORACLE 源端增量同步技术 CloudCanal 对于 ORACLE 源端增量同步采用 LogMiner 分析 redo 日志或物化视图/类trigger 方
OGG实现ORACLE数据到大数据平台KFAKF的实时同步到KUDU数据库
11-02
在这个特定的场景中，OGG被用来实现实时地从Oracle RAC（Real Application Clusters）环境中的源数据同步到大数据平台Kafka，最终目的地是Kafka集群中的Kudu数据库。Oracle RAC环境通常用于高可用性和负载均衡，而...
Oracle OGG安装部署细说：Windows同步到Linux
02-02
Oracle OGG安装部署细说：Windows同步到Linux
OGG_1121028_Oracle10g_Linux-x86-64.7z
04-12
在给定的标题"OGG_1121028_Oracle10g_Linux-x86-64.7z"中，我们可以推断出这是一份适用于Oracle 10g数据库的Oracle GoldenGate V11.2.1.0.28版本的Linux 64位安装包。这个版本特别关键，因为它标志着对Oracle 10g...
实时处理-ogg实现oracle到kafka的增量数据实时同步
07-16
本文中，我们讲解了如何使用 Oracle GoldenGate 实现 Oracle 到 Kafka 的增量数据实时同步，包括环境配置、源端配置、目标端配置和实时同步配置等。通过这种方法，可以实现 Oracle 数据库的实时同步到 Kafka 中，...
SqlServer数据库OGG安装部署及数据初始化.docx
07-29
在这个场景中，我们关注的是如何在SQL Server数据库环境下安装配置Oracle GoldenGate（OGG），并将数据从SQL Server实时同步到Oracle数据库。以下是对整个过程的详细说明： 首先，确保你的SQL Server是企业版，并且...
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
热门推荐
赵延东的一亩三分地
03-05 5万+
本章介绍如何配置xagent远程GUI安装ogg，也可以用来当作xagent远程调用GUI的学习资料，之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。下面是我给大家的生产环境下，如何部署GoldenGate及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步，这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式，看大家喜欢用哪种吧！
使用ogg实现oracle到kafka的增量数据实时同步
dtstack_FAD的博客
04-10 3802
使用ogg实现oracle到kafka的增量数据实时同步 ​ 彬彬 ​
oracle ogg亚秒级,利用GoldenGate实现Oracle实时同步方案
weixin_42548752的博客
04-03 1001
利用GoldenGate实现Oracle实时同步方案简介：OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OracleGolden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在...
OGG(oracle goldengate)实现oracle到oracle数据DDL同步
weixin_41229271的博客
09-23 1316
注：本篇文章是在已经配置过DML同步或者源端数据库已经开启归档、添加了附加日志等基础上记录的，如未设置，请参考另外一篇：https://blog.csdn.net/weixin_41229271/article/details/101196319 然后再进行下面的步骤。 源端在ogg安装目录下登陆数据库 SQL> @marker_setup.sql Marker setup scr...
OGG同步ORACLE至SQLSERVER
TouchYoni
01-17 3643
系统环境 源库：ORACLE 11.2.0.4+RedHat 6.5 目标库：SQLSERVER 2014+windows ogg for oracle 链接: https://pan.baidu.com/s/1kWuhBsN 密码: h5q1 ogg for mssql 链接: https://pan.baidu.com/s/1gg3Jmcr 密码: nc93 源库配置
oracle数据同步方法
flyingant9的博客
02-22 1849
oracle数据同步方法总结： 1、 用insert语句 ，但不适合大数据量 alter table B nologging; insert /* +APPEND / into A(a1,a2) values(x,xx); insert / +APPEND */ into B select * from A where …; 2、用 imp、exp 导入 imp username/password@192.168.1.1:45021/orcl file=D:\test\1102\test.dmp full=
Oracle数据同步的思考与优化-CloudCanal核心技术
Kami‘s home
08-03 1061
为什么我们要重构 Oracle 源端数据同步？ CloudCanal 早期版本即支持了 Oracle 数据库，围绕结构迁移、全量迁移、增量同步三个核心步骤，构建了以 Oracle 数据库为源端的实时数据体系。 但之前的版本，也存在着不少问题，功能、性能、对数据库权限的挑战等方面都有所涉及，成了 CloudCanal 产品的一个痛点，看着 MySQL 源端在线数据体系不断狂奔，不免有点落寞。 再者，市场的需求层出不穷 “CloudCanal 能否把 Oracle 数据同步到 Kafka?” “CloudCa
关于OGG单表同步
ciqichan7840的博客
03-21 455
在OGG运维过程中，会因为某些参数设置不合理或跳rba等操作，导致生产端与灾备端数据的表一致，因此会根据需要做该表的同步工作。以下步骤可在线做。在同步之前应注意：（1）确认ext/pump进程均无较大延迟，否则建议...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值