DSG SuperSync大型数据库高性能复制平台产品介绍

1. 产品概述
2. DSG（迪思杰集团），领先的信息数据管理软件产品和解决方案。

DSG SuperSync是迪思杰（北京）数据管理技术有限公司研发的一款拥有自主知识产权的大型数据库高性能数据复制平台。广泛的应用于容灾备份、业务分离、数据异构、数据共享、数据迁移、数据上云、大数据应用等诸多场景；拥有全量复制、增量复制、结构变更同步、数据探测、数据转换、数据脱敏、数据质量实时检测、数据集成、数据校验、图形化多维动态监控等功能；具备全量增量一体化、实时日志分析性能高、支持结构变更同步、字符集转换、特殊字段及特殊属性表同步，多种数据分析模式及多种数据装载模式，多种异构数据库之间同步，支持多种复制架构等优点。围绕DSG SuperSync提供DMP监控管理平台、DataXone数据集成平台、XCMP数据管理平台、NDMP数据切换平台等多种专属功能平台，并可以组合搭配使用，满足客户不同需求。

1. 应用场景
   1. 容灾备份

在同机房、同城异地、远程异地机房，利用DSG SuperSync大型数据库高性能复制平台，建立起多套系统的实时数据同步，互相之间可以进行健康状态监视和功能切换。当正在对外提供业务的系统因故障（如down机、停电等）、安全（如网络攻击、病毒侵犯等）、意外(如火灾、地震等)停止工作时，整个应用系统可以切换到另一处，使得对外提供的业务可以继续正常工作，从而到达应用系统的容灾备份。

1. 1. 业务分离

生产系统数据量越来越大，查询、统计、报表业务需求越来越频繁，利用DSG SuperSync大型数据库高性能复制平台，建立起生产系统和查询系统的实时数据同步，把对生产系统资源占用众多的查询、统计、报表业务分离到查询系统中，从而减轻生产系统的负荷压力。

1. 1. 数据异构

传统结构化数据库在信息数据大爆发的背景下，越来越显现出存储、使用上等自身架构上的局限性，分布式数据库、MPP分析库、消息队列、大数据组件（HDFS/HBASE/HIVE/ES）、国产数据库等快速的发展及广泛的实践应用，催生了大量的异构数据之间同步的需求。利用DSG SuperSync大型数据库高性能复制平台，实现多种源端数据库、目标端数据库、大数据组件等数据异构的同步，自动完成不同数据库之间类型、数据、字符集的转换，满足复杂的数据异构场景。

1. 1. 数据共享

众多企业、政府传统烟囱式的信息架构，导致各个系统之间的数据无法共享、数据格式无法标准、数据调用关联复杂，利用DSG SuperSync大型数据库高性能复制平台，实现ODS库、消息中间件、数据湖等共享架构，建立起统一的数据共享平台，从而实现企业、政府的数据共享，极大的提升了数据的利用效率，最大化的发掘共享数据的价值。

1. 1. 数据迁移

信息系统技术、架构的快速更新，时常的遇到主机存储更换、数据库升级、更换数据库等重大变更，利用DSG SuperSync大型数据库高性能复制平台，快速完成存量数据迁移、实时增量变化数据迁移、全量增量数据校验、数据回流，保证在不停机、不业务、不修改生产库参数的情况下，快速、安全、高效的完成数据迁移。

1. 1. 数据上云

传统的业务应用程序不但过于复杂，而且成本高昂。正常运行所需的各种软硬件也是数量惊人，种类繁杂。并且需要一个完整的专家团队来负责进行安装、配置、测试、运行、保护和更新。企业采用云服务模式节省了大量用于购买IT产品、技术和维护运行的资金，方便地利用信息化系统，从而大幅度降低了企业信息化的门槛与风险。利用DSG SuperSync大型数据库高性能复制平台，完成云下到云上、不同云之间、云上到云下的各种数据交换需求。

1. 1. 大数据应用

对来源分散、数量巨大、格式多样的数据进行采集、存储和关联分析，并从中发现新知识、创造新价值、提升新能力，使大数据应用正快速发展成为新一代信息技术和服务业态。利用DSG SuperSync大型数据库高性能复制平台，完成对于来源分散、数量巨大、格式多样的数据采集，并完成对数据一系列的数据转换、数据计算、数据标签、数据目录、数据血缘等工作，满足众多大数据的应用。

1. 产品功能
   1. 全量复制

通过自主知识产权的导出工具把数据从底层数据文件全量导出或通过数据库自有的抽取接口从数据库全量导出，形成统一数据流格式文件（xf1/xdt），顺序的通过网络发送到目标端，再经由目标端装载程序装入相应的数据库，完成源数据库和目标数据库的全量数据复制。

1. 1. 增量复制

通过自主知识产权的实时日志分析工具，对记录数据库操作与变化的数据库日志文件进行分析，根据配置需要分析的用户、表的变化，形成统一数据流格式文件（xf1/xdt），顺序的通过网络实时发送到目标端，再经由目标端装载程序装入相应的数据库，完成源数据库和目标数据库的增量复制。

1. 1. 频繁结构变更同步

通过自主知识产权的实时日志分析工具，对记录数据库操作与变化的数据库日志文件进行分析，根据配置需要分析的表结构变更，形成统一的结构变更数据语句文件及结构变更后的数据字典文件，顺序的通过网络实时发送到目标端，再经由目标端装载程序经过不同数据库对等的语法转换装入相应的数据库，完成源数据库和目标数据库的频繁结构变更同步。

1. 1. 数据探测

通过自主知识产权的数据探测工具，对主机资源的内存、CPU、IO、带宽、目录空间等探测；对数据库的表种类、表字段类型、表大小、表变化量、表敏感数据、日志变化量大小、表空间大小、对象种类、对象关联等探测；探测结果生成JSON文件或直接写入相应的数据库，并且进行源库的数据库画像，从完成数据库的诊断、分析、态势感知等。

1. 1. 数据转换

通过自主知识产权的数据转换+实时日志分析工具，完成对存量数据、实时数据的转换。主要的数据转换种类包括：表名转换、字段名转换、字段类型转换、新增减字段转换、字段值计算、表记录过滤、组合查询语句转换、记录字段额外新增标记、数据库数据转换到格式文本等。

1. 1. 数据脱敏

通过自主知识产权的数据脱敏工具，完成对存量数据、实时数据的脱敏。主要的数据脱敏的算法包括：时间老化、洗盘混淆、码值偏移、字符屏蔽、地址脱敏、姓名脱敏、掩码脱敏等。另外还可以根据不同用户的权限范围对所查询展示的数据进行脱敏。

1. 1. 数据实时质量检测

通过自主知识产权的实时日志分析技术，根据配置的对应表的字段记录检测规则，对写入数据库表的字段值进行实时的字段类型检测、字段赋值范围检测、字段具体值检测等进行数据实时质量检测。检测到不符合的数据时可采用即时报警、忽略处理、正确转换等策略，第一时间知道异常数据，从而到达数据实时质量检测。

1. 1. 数据集成

通过自主知识产权的数据集成技术，对来自于不同数据库、不同数据库版本的数据进行统一的数据分类、数据过滤、数据标签等工作，目录化的存放到消息中间件、MPP服务器、大数据平台从而完成全量数据、实时增量变化数据集成及数据共享。

1. 1. 数据校验

通过自主知识产权的数据校验工具，提供多种如自定义pl/sql、rowid、xcmp等数据校验方式；实现全量比对、增量比对、全量+增量比对等多种比对策略；并且提供比对不一致数据的展示及自动化修复一体化；同样克服异构数据库之间字段类型不一样、数据存放差异、字符集不同、数据库不同特性等技术难点，提供强大异构数据库之间的数据比对。

1. 1. 图形化多维动态监控

通过自主知识产权的图形化管理工具，实现对数据同步的数据变化时间，数据变化量级、软件运行状态、软件资源占用、主机硬件状态以及网络环境的全面监控。支持界面化的参数配置以及定制化的数据统计，保障了数据同步的可控性、可视性，并通过短信、邮件、定制接口等多种途径及时发出异常告警，极大程度提高了工作的时效性，减少资源消耗，节省运维成本。

1. 产品架构