数据同步之数据同步基础

数据同步技术即不同系统间数据流转，如：

同类型不同集群间同步：

① 主数据库与备份数据库之间数据同步

② 主系统与子系统之间数据同步

大数据系统数据同步：

① 业务系统到数据仓库系统

② 数据仓库系统到数据服务

数据源分类：

同步方式：

直连同步
1）通过规范API和基于动态链接库的方式直接连接数据库，如ODBC/JDBC。

2）此方式对系统性能影响较大，采用从备份数据库读的方式可以适当缓解压力。

数据文件同步
1）通过约定的文件编码、大小、数据格式从数据源生成数据文件，有文件服务器（如：FTP）传输到目标系统

2）适用于数据源由多种异构数据源组成，以及互联网日志类数据

3）文件服务器的传输过程中会附加校验文件，用于目标服务器验证文件完整性

4）数据源生成文件时可进行压缩 / 加密操作，提高数据传输效率

数据库日志解析同步
1）通过解析日志文件获取数据变化，进行增量数据同步。流程如下：

① 源系统收集数据变更操作并解析到目标文件中（整个过程在操作系统层面，不会给源系统带来性能影响）

② 通过网络协议实现源系统与目标系统的数据传输

③ 目标系统通过数据加载模块完成数据导入

2）这种方式实现了实时与准实时同步，被广泛应用在业务系统到数据仓库系统的增量数据同步

3）该方式缺点：

① 当目标系统补录数据时，有可能超出系统处理的峰值造成数据延迟

② 需要在源系统与目标系统之间搭建一套实时数据抽取系统

③ 数据漂移，当天数据中包含前一天或者后一天凌晨的数据