一、GoldenGate介绍
goldengate软件是一种基于日志的结构化数据复制软件
goldengate能够实现大量交易数据的实时捕捉、变换和投递,实现目标数据库与源数据库的数据同步,实现亚秒级延迟
支持多种拓扑结构,包括1对1,一堆多,多对1,层叠和双向复制等等
(图片来源于网络)
基本架构
(图片来源于网络)
主要组件:
- extract
- data pump
- trails
- collector
- replicat
- manager
数据复制过程:
抽取进程读取在线日志或归档日志,进行解析,只提取其中数据变化的信息,如dml操作,将抽取信息转化为goldengate自定的中间格式存在队列文件(trail file)中,利用传输进程将队列问价能通过tcp/ip传送到目标系统。
目标端进程server collector,此进程接受源端的数据变化信息,缓存到goldengate队列文件中,等待目标端复制进程和读取数据
goldengate复制进程replicat process从队列文件中读取数据变化信息,创建对应的sql语句,通过数据库的本地接口执行,提交到目标数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程完成。
适用性:
可以在多样化和复杂的IT架构中实现实时事务更改数据获取、转化和发送;其中,数据处理与交换以事务为单位,支持异构平台,如db2,mssql等
支持方案两大类:
- 高可用和容灾解决方案
- 实时数据整合解决方案
高可用和容灾解决方案有:
- 容灾和应急备份
- 消除计划内停机
- 双业务中心(双活)
实时数据整合解决方案:
主要为DDS或OLAP数据库提供实时数据,实现数据集成和整合,包含2个子方案;
- 数据仓库实施供给
- 实时报表
下图是一个典型的 Golden Gate 配置逻辑结构图:
来源:以上均来自于https://blog.csdn.net/enmotech/article/details/89324396