巨杉 x DSG：突破单一IT架构限制，实现结构化数据高性能实时入湖

合作伙伴公司简介

迪思杰（北京）数据管理技术有限公司（以下简称DSG）, 是全球领先的数据复制技术专业公司，拥有几乎所有主流数据库，如：Oracle、MySQL、PostgreSQL、DB2及各类国产数据库的实时日志分析复制技术和完全的自主知识产权。DSG全球领先的数据库统一实时转换数据模型，能够快速、统一实现各类数据库之间的转换和异构加载，及对各类大数据组件的支持。DSG各类产品线已应用于政府部门、公安、银行、证券、保险、企业等1000多家客户。

方案应用背景

随着云计算与大规模并行数据库的兴起，传统IT架构与并行集群数据库之间、与基于云计算的大规模非结构化的数据库之间，需要实时高性能数据复制共享，使企业突破单一传统IT架构限制，走向性能可无限扩张的混合云架构。

当前，客户业务存在以下问题：

• 低性能日志分析：企业业务更改都记录在日志中，当需要了解数据库中所作的交易时，需要先分析日志。大型数据库一般峰值日志产生量高达200G/小时以上，传统日志分析技术处理过程繁琐，分析效率低，对源生产端的运行造成较大的压力；

• 无法进行全同步与增量同步：传统数据复制工具不支持全同步功能，数据首次同步需要通过备份恢复实现，即通过备份软件将生产端数据库的数据进行全备份，然后再通过恢复功能将数据恢复到某个时间点。首次同步完成后，用户还需要手动创建增量同步的SN点（手动操作会导致操作失误率提高），复制软件才能实现增量同步，无形中增加同步时间ÿ