Oracle日志复制—国产自研Beedup(基于日志结构化数据复制产品)

Beedup能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

一、Beedup产品概述

由北京灵蜂纵横软件有限公司研发的数据库实时复制软件Beedup,提供数据库Oracle异地容灾备份,异地数据同步功能。支持复制时的主库和从库双活,支CDC(ChangedDataCapture), 满足从PC 到服务器、从Windows 到Linux 再到Unix 环境的复制。

除满足容灾需求外,利用数据备份时的主从双活特性,Beedup还可满足数据库的负载平衡。当在生产库进行查询分析时,通常会造成联机交易事务的延迟响应。通过将生产库上的查询分析业务转移到备份库上,可以降低生产库负载,提高生产库的联机事务处理能力。

Beedup 部署示意图如下所示:

Beedup提供简单直观的用户操作界面,帮助用户快速部署复制任务。目前支持Windows 2008 和Windows 2012 安装环境。

 二、Beedup工作原理

Beedup通过全量复制功能对从库进行初始化,复制主库历史数据到从库,保持主从库历史数据一致性。全量复制时,Beedup通过TCP 方式与主库和从库建立连接,存储主库当前时间作为后续增量复制的捕获起点,然后读取主从数据库字典信息,历主库字典中的用户、表、视图、存储过程、函数、触发器等对象信息,逐一与从库对象进行比较,当从库中对象不存在或与主库对象存在差异时,则创建或覆盖主库对象,如对象相同,则比较下一个,直至全部对象遍历完毕。

全量复制时,可以对复制对象进行过滤排除,通过指定对象所属模式名,表名及其它对象名来包含或排除对象复制。全量复制结束,自动进入增量复制过程。

Beedup通过增量复制功能实时复制主库变化到从库,捕获线程从上次存储的事务提交点位置顺序读取主库日志记录并将日志记录翻译为软件内部数据格式,判定读取的日志记录是否提交,如果已被提交,继续判断日志记录是否满足捕获条件(是否是特定用户产生的增量数据,是否是特定模式下特定表的记录),如满足条件,则缓冲该记录,否则丢弃该记录,然后读取下一条日志记录;如果是回滚记录则丢弃,然后读取下一条日志记录。如果读取的日志记录既未提交也未回滚,则延时后从提交点重新捕获记录。当在主库日志中读取到事务提交命令时,则将缓冲的记录发送到提交缓冲区。提交线程从提交缓冲区读取记录并转换为DML 或DDL 在从库执行,当对应一个事务的所有DML 或DDL 全部执行完毕,向从库发送提交命令并存储事务提交点。

以下是捕获线程和提交线程对应的工作原理图:

基于数据库日志结构化数据复制产品-Beedup

三、Beedup产品优势

  • 基于日志进行增量复制,无需对主库作任何改动。
  • 基于事务单元进行复制,确保数据一致性。
  • 复制过程主从库双活,主库故障后直接使用从库接管,无需备份恢复过程。
  • 支持事务操作审计,跟踪操作对象、操作用户及操作时间
  • 支持数据审计,跟踪数据操作时间、操作用户及操作类型(企业版支持)
  • 基于TCP 连接主从库,无需在主库或从库安装任何代理软件,支持异地容灾。
  • 支持任意的主从库操作平台,任意的主从库存储格式。
  • 提供差异回补策略,确保数据万无一失。

四、Beedup产品特点

灵蜂数据库复制软件 Beedup 提供不仅支持数据库Oracle还支持SQLServer/DB2/MySQL/PostgreSQL

1、 Beedup采用TCP连接主从数据库,支持本地或异地容灾。软件读取解析主库归档或在线日志,还原其中的DDL及DML操作在备库执行,通过将软件部署到主库所属网络,可以在备份时有效降低网络负载。软件提供断点机制增量读取解析日志,可以忍受苛刻的网络条件。

2 、Beedup采用SQL接口向从库写入DML及DDL,从库实时在线可用。另外软件提供主从表的差异比对功能,可以随时效验主从数据一致性。

3、 Beedup采用事务单元复制主库变化到从库,主库事务提交后,软件立即读取解析事务并复制变化到从库,整个过程秒级完成。当主库发生故障时,可以直接修改从库IP为主库IP接管其上业务。

4 、Beedup支持active/standby和active /active备份模式,对于active /active模式的自增主键冲突,无需调整业务系统,Beedup提供自增值到目标库的重新计算并更新相关依赖信息的功能。

5、 Beedup采用JDBC读写主备数据库,对数据库运行平台及版本无要求,当生产库采用高性能设备时,备份库可以选择普通商用配置。软件部署灵活,既可部署于主服务器,也可部署于备份服务器,或者部署到可以TCP连通主备服务器的其它任意机器。软件对主库不需要任何写入操作,通过读取解析主库归档或在线日志复制事务到备份库,对于表结构、视图、存储过程、触发器等DDL操作均可自动备份,无需人工干预。


  数据库复制产品 Beedup 日志解析同步功能(CDC): 用户数据库 SQLserver新增 17亿多条数据运行中反馈的截图

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值