基于GOLDENGATE实现数据实时分发

最新推荐文章于 2023-09-27 14:07:06 发布
最新推荐文章于 2023-09-27 14:07:06 发布
阅读量3.3k 收藏 2
点赞数
分类专栏： GoldenGate 文章标签： goldengate 数据分发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yidian815/article/details/52473213
版权

数据分发是中一对多的系统配置。Oracle GoldenGate支持源端数据库同多个目标数据库之间的数据同步，同步节点可以是同构数据库，也可以是异构数据库。根据不同的数据库平台，GoldenGate支持的功能会有所差异，但数据分发的总体模式如下：

通过GoldenGate实现数据分发，实现方式可以概括为如下三种方式：
  • 第一种方式：每个extract进程组对应一个datapump进程组，每个datapump进程组对应一个replicat进程组
  • 第二种方式：每个extract进程组对应多个datapump进程组，每个datapump进程组对应一个replicat进程组
  • 第三种方式：每个extract进程组对应一个datapump进程组，每个datapump进程组对应多个replicat进程组
当然，除了如上三种方式，根据实际情况进行灵活配置，可以演变出更多的数据分发模式，下面分别针对三种实现方式搭建实验环境，过程如下：
实验环境：
   操作系统：redhat 6.5
   数据库：mysql 5.6
   源数据库节点：redhat1 192.168.18.11
   目标数据库节点：redhat2  192.168.18.12  redhat3  192.168.18.13
    
第一种方式：
redhat1节点配置脚本如下： 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  19. EXTRACT pump1
  20. RMTHOST 192.168.18.12, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/or
  22. TABLE db1.t*;
  23. EOF
     
     
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext2, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/sl, EXTRACT ext2
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext2.prm <<EOF
  8. EXTRACT ext2
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/sl
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump2, EXTTRAILSOURCE /u01/mysqlogg/dirdat/sl, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump2
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump2.prm <<EOF
  19. EXTRACT pump2
  20. RMTHOST 192.168.18.13, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/sr
  22. TABLE db1.t*;
  23. EOF
redhat2节点配置代码如下： 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置代码如下 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
测试结果：
ogg截图：
mysql截图：
 
结论：
1：可以实现数据的1对多分发
2：多个extract进程组重复提取数据，会增加工作负载
3：各个分发进程组之间不存在重叠区域，因此当某一进程发生故障时或需要做出调整工作时，不会影响其他分发进程组
4：比较适合于分发到不同目标数据库的数据不存在交集的情况
第二种方式：
redhat1节点配置脚本如下： 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  19. EXTRACT pump1
  20. RMTHOST 192.168.18.12, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/or
  22. TABLE db1.t*;
  23. EOF
  24. ./ggsci <<EOF
  25. ADD EXTRACT pump2, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  26. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump2
  27. EOF
  28. cat > /u01/mysqlogg/dirprm/pump2.prm <<EOF
  29. EXTRACT pump2
  30. RMTHOST 192.168.18.13, MGRPORT 7809
  31. RMTTRAIL /u01/mysqlogg/dirdat/sr
  32. TABLE db1.t*;
  33. EOF
redhat2节点配置脚本： 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置脚本： 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
EOF测试结果：
特点：
    1、单一extract进程组对应多个datapump进程组，可以节省本地exttrail文件占用的空间
    2、extract进程故障会影响到所有的复制进程
    3、为每个target replicat分配一个专用datapump进程组，灵活性和性能较高
第三种方式：
redhat1节点的配置代码如下 
    
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. EOF
  17. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  18. EXTRACT pump1
  19. RMTHOST 192.168.18.12, MGRPORT 7809
  20. RMTTRAIL /u01/mysqlogg/dirdat/or
  21. TABLE db1.t*;
  22. RMTHOST 192.168.18.13, MGRPORT 7809
  23. RMTTRAIL /u01/mysqlogg/dirdat/sr
  24. TABLE db1.t*;
  25. EOF
  26. ./ggsci <<EOF
  27. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  28. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump1
  29. EOF
redhat2节点配置脚本： 
      
      
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置脚本： 
       
       
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
测试结果：
 结论：
    1、不能实现数据分发，rmttrail始终分发到同一目标数据库

    2、官方文档的部分描述与结论不一致


更多原创文章，请到www.ezbit.ren

ezbit
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于GoldenGate的数据分发设计.pptx
10-14
基于GoldenGate的数据分发设计.pptx
搞懂DDS数据分发服务
weixin_39568744的博客
07-03 4729
数据分发服务（DDS™）是一个由对象管理组（OMG）发布的以数据为中心的中间件协议和API标准。采用分布式发布/订阅体系架构，以中间件的形式提供通信服务，强调以数据为中心。DDS中间件是一个软件层，从操作系统、网络传输和底层数据格式的细节中抽象出应用。相同的概念和api提供给不同的编成语言，使得应用在不同的操作系统、编成语言和处理体系架构之间交换信息。底层细节包括数据传输格式、发现、连接、可靠性和、协议、Qos策略等由中间件来管理。...
数据分发服务(DDS, Data Distribution Service)简介
最新发布
醉逍遥的博客
09-27 651
OMG 数据分发服务 (DDS™) 是一个中间件协议和 API 标准，用于来自 Object Management Group® (OMG®) 的以数据为中心的连接。它将系统的组件集成在一起，提供业务和关键任务物联网 (IoT) 应用程序所需的低延迟数据连接、极高的可靠性和可扩展架构。在分布式系统中，中间件是位于操作系统和应用程序之间的软件层。它使系统的各个组件能够更轻松地通信和共享数据。它让软件开发人员专注于其应用程序的特定用途，而不是在应用程序和系统之间传递信息的机制，从而简化了分布式系统的开发。
数据分发服务模型解析
海边的锋
03-03 9870
1 数据分发服务       数据分发服务（DDS）的核心是以数据为中心的发布-订阅DCPS(Data-Centric Publish-Subscribe)，即发布者能高效地将正确的信息传递给适当的订阅者。 2 数据分发模型 数据分发归结为一种独立的系统软件或服务程序的中间件，分布式应用借助这种软件在不同的技术之间共享资源；中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯。中间
DDS（data distribution service，数据分发服务）简介
qq_41854911的博客
05-05 6946
DDS无需管理应用程序代码（您的代码）中的所有这些复杂性，而是直接为您实现受控，托管，安全的数据共享。因此，它可以实现更明智的决策，提供新的服务，增加收入来源，并降低成本。DDS中间件全面负责数据的分发（从生产者到消费者），以及数据的管理（例如为后期加入的应用程序维护非易失性（non-volatile）数据）。OMG DDS体系结构设计为可从小型设备扩展到云端，并且适用于非常大的设备系统.DDS通过扩展数千或数百万参与者，以超高速传输数据，管理成千上万的数据对象来实现物联网，并提供极高的可用性和安全性。
通过SQL进行数据分发
像豆芽一样优秀
07-17 976
将用户分发给各个门店。
基于Goldengate的数据库异地灾备实现
01-19
重点阐述了 Goldengate 同步复制技术的概念和实现原理，研究了该技术的特性和优势，通过实际案例的分析，验证了采用 Goldengate 的数据复制技术的可行性，最终实现数据实时备份，确保核心数据库的安全，同时避免引入...
基于GoldenGate的实时数据同步平台架构.pdf
10-15
基于GoldenGate的实时数据同步平台架构.pdf
基于GoldenGate产品的实时数据同步平台架构演进.pdf
10-14
基于GoldenGate产品的实时数据同步平台架构演进.pdf
GoldenGate实时数据应用关键策略
11-25
GoldenGate 实时数据应用 关键策略
Golden实时数据库20产品介绍.pptx
09-24
Golden实时数据库20产品介绍.pptx
数据分发服务指南-数据分发技术指南
10-28
数据分发服务指南-数据分发技术指南 用于各类数据的分发
GoldenGate 12c(ogg 12c) 一对多同步案例
10-12
牛人出的干货，GoldenGate 12c(ogg 12c) 一对多同步案例。 注：文档打开密码见压缩包注释！
基于DDS的实时数据分发系统的研究与实现
08-13
我的一些列关于DDS的资料之一，发上来供有兴趣的同志一起研究来研究DDS中间件。
[Expert.Oracle.GoldenGate(第1版)].源代码
01-03
[Expert.Oracle.GoldenGate(第1版)].源代码
分布式系统--数据分发服务（DDS）
热门推荐
riwanfenglin的博客
07-13 2万+
DDS是基于发布/订阅模式的通信模型。发布/订阅中间件提供一种简单、直观的方式分发数据，它将创建和发送数据（数据发布者（Publisher））的软件与接收和使用数据（数据订阅者（Subscriber））的软件分离开。Publihser 简单声明其发送意图并发布数据。Subscriber声明其接收意图，然后中间件自动传送数据。 图 1 1 网络中间件发布/订阅中间件自动处理所有的网络琐事，包括连接、...
实时数据订阅与分发系统概述
阿丸笔记
05-27 3463
实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上，并维护消息的统一格式，提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景： 索引构建：MySQL到ES 缓存管理：MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订阅与分发系统一般都有如下几个核心模块构成： Change Data Capture（变更数据抓取，CDC）：负责实时抓取业务数据源的变更消息； 消息中间件：支撑消息的分发与堆积；
DDS（数据分发服务）技术
Autostone99的博客
11-26 5747
...
Oracle GoldenGate（OGG）讲解
weixin_54342458的博客
09-06 2389
数据分发服务器DDS在讨论ogg之前，这里我想介绍一下，之前我了解的数据分发服务DDS，DDS采用发布 / 订阅体系架构，强调以数据为中心，提供丰富的 QoS 服务质量策略，能保障数据进行实时、高效、灵活地分发，可满足各种分布式实时通信应用需求。DDS信息分发中间件是一种轻便的、能够提供实时信息传送的中间件技术。Oracle GoldenGate 简称ogg，是用于实时数据集成和复制的综合软件包。它支持高可用性解决方案，实时数据集成，事务性更改数据捕获，数据。
什么软件可以实时同步oracle的数据
01-10
有很多软件可以实时同步 Oracle 的数据。这里提供一些可以考虑的选项： 1. Oracle GoldenGate：这是 Oracle 公司的一款数据同步解决方案，可以实现多种数据库间的实时数据同步。 2. DataGuard：这是 Oracle 数据库自带的数据库高可用性解决方案，可以实现数据库实时同步。 3. Datazoomer：这是一款第三方数据同步工具，可以实现 Oracle 数据库和其他数据库的实时数据同步。 4. Dbvisit Replicate：这是一款第三方数据同步工具，可以实现 Oracle 数据库和其他数据库的实时数据同步。 希望这些信息能帮到你！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值