江苏联通查询统计平台建设（分担系统压力）

来源：计费&OSS世界  作者：刘军 

 

一、信息系统存在的问题及需求

随着计算机应用系统的爆炸式发展，业务量迅速增加，业务种类日益复杂，企业必须管理不断增长的信息流量；随着信息量的急剧增大，核心数据的管理变得日益困难。如何安全、可靠地存储业务数据及满足未来业务数据高速增长的需要；如何有效管理日益增长的业务数据；如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用，如数据仓库、客户关系管理（CRM）等，成为了各企业建立信息系统的关键所在。

目前，各企业信息系统在数据管理领域存在着普遍的问题：

1 、数据流通效率低下，企业信息孤岛现象严重　

信息系统的建设主要是以应用为驱动的，是随着各种业务的逐渐建设的。当出现一类新的业务时，一般需要为该业务建设一套业务支撑系统，保存与该业务有关的主要数据。而这些数据可能同时也需要被其他应用所访问。从而自然就形成了各子系统应用在不同的纵向，管理着不同的业务单元或对象，各个子系统又是相互独立运行，导致形成了一个个“信息孤岛”。这些系统相互之间没有畅通的信息交流与共享，阻碍了企业信息化建设的整体进程。

２、数据报表，查询和数据共享效率低下

为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业务统计报告、需要深入的数据挖掘、需要实时的客户查询。而这些大量的统计、查询业务收到现有系统架构的制约，不得不降低效率标准、不得不推迟报告时间、从而导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。

由此可见，对于企业内部各信息系统之间如何进行有效的数据共享，最大限度地避免信息孤岛现象，减少数据的重复流通是各类企业共同面临的难题。

 

二、ＤＳＧ　ＲｅａｌＳｙｎｃ复制技术概览

与传统的数据复制技术不同，DSG RealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性，该技术在复制上面主要有以下几个特点：

　　（1）按需复制

查询和统计系统往往不需要所有的原始数据，因此完全可以按需要复制数据。RealSync系统支持对指定信息的按需复制，减少存储和网络带宽的成本。

　　（2）多种同步模式

DSG RealSync 支持的数据复制模式包括：

a. 实时复制：实时更新保证副本系统快速反映源系统的变化，提供账单查询、话单查询等的及时性。

b. 定时复制:包括每月复制、每周复制和每天复制；

c. 手工复制：支持操作员指定时间对指定表进行一次完全复制；

　　（3）对生产系统的低干扰性

DSG 实时数据复制技术不需要通过任何数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，不会对生产系统造成性能影响。

　　（4）系统异构，可提供更多的优化空间

源数据库系统和目的数据库系统的可异构，主要包括索引规则和存储参数（如数据块大小、回滚段等）。因此可以在目标数据库上根据业务特点进行调整和优化，完全不受源系统的限制。

　　（5）支持的多种复制策略

RealSync 可以被灵活配置，以支持各种复制策略，支持各种增值应用，如：1:1单向复制；一对多复制；多对一复制等。

 

RealSync 工作原理图

 

如上图所示，RealSync在Data Source端和Data Target端分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。

当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成DXF数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易

  下表是常见的几种数据复制方案的比较

表一：几种主要的数据复制方案比较

比较项目	DSG RealSync 软件	Quest  Shareplex	Oracle DataGuard	应用开发复制方案	硬件复制方案(EMC ＳＲＤＦ／ＢＣＶ/ Veritas VVR)
复制数据库在复制中是否可用	可用，热备份	可用，热备份	不可用,冷备份，需要打开数据库	可用，热备份	不可用，冷备份，切换后需要打开数据库才可用
对生产数据库本身的修改	无	归档	归档	修改表结构等	无
对业务修改要求或者依赖性	无	无	无	大量修改业务逻辑，增加容灾复制流程、切换流程、回切流程以及异常处理流程等等，今后业务调整都受影响